WO2025057744A1 - 支援装置、支援方法及びプログラム - Google Patents
支援装置、支援方法及びプログラム Download PDFInfo
- Publication number
- WO2025057744A1 WO2025057744A1 PCT/JP2024/030823 JP2024030823W WO2025057744A1 WO 2025057744 A1 WO2025057744 A1 WO 2025057744A1 JP 2024030823 W JP2024030823 W JP 2024030823W WO 2025057744 A1 WO2025057744 A1 WO 2025057744A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- reliability
- image
- degree
- vegetative growth
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01G—HORTICULTURE; CULTIVATION OF VEGETABLES, FLOWERS, RICE, FRUIT, VINES, HOPS OR SEAWEED; FORESTRY; WATERING
- A01G7/00—Botany in general
Definitions
- the present invention relates to a support device, a support method, and a program.
- Patent Document 1 describes technology related to an information processing device, a control method for the information processing device, and a program for determining the reliability of agricultural crop surveys.
- the degree of growth of crops in a field has been understood from images taken of the field (farm) using a camera or the like.
- the degree of growth of the crops in the foreground in the depth direction of the image it may not be possible to understand the degree of growth of the crops in the background in the depth direction of the image.
- the degree of growth of crops in a field is understood using satellite data or images taken from the sky by a drone, but satellite data and drones are not necessarily easy for everyone to use.
- work efficiency in the field decreases.
- the present invention was made in consideration of the above situation, and aims to provide a technology that makes it possible to easily grasp the overall growth level of a crop, and to grasp how accurately the growth level of the crop can be grasped.
- the support device is a support device that includes an acquisition unit that acquires an image generated by photographing a crop, a growth degree calculation unit that calculates a nutritional growth degree indicating the degree of nutritional growth of the crop in a divided area in the image, a reliability calculation unit that calculates a reliability indicating the certainty of the nutritional growth degree in the divided area, and an output unit that outputs the nutritional growth degree and the reliability linked to the divided area.
- a worker can easily grasp the growth degree of the entire crop.
- the worker can grasp how accurately the growth degree of the entire crop is grasped.
- the worker can grasp the parts of the growth degree of the entire crop that are correctly grasped and the parts that are roughly grasped.
- the worker when a worker determines the location of the crop to work on based on the image, the worker can properly grasp the location of the crop to work on. Therefore, the worker can properly grasp the location in the field where he/she should intervene or work with priority, improving the work efficiency and yield in the field.
- the support device may include an area division unit that divides a predetermined area in the image into a plurality of the divided areas, the growth degree calculation unit calculates the nutritional growth degree for each of the plurality of divided areas, the reliability calculation unit calculates the reliability for each of the plurality of divided areas, and the output unit may output the nutritional growth degree and the reliability linked to the plurality of divided areas.
- the growth degree calculation unit may calculate the nutritional growth degree based on at least one of the length, area, and volume of the crop in the image and color information of the image.
- the reliability calculation unit may calculate the reliability based on distance information in the depth direction of the image.
- the reliability calculation unit may calculate the reliability based on position information of the image having three-dimensional information.
- the acquisition unit may acquire the shooting angle when the image was shot, and the reliability calculation unit may calculate the reliability according to the shooting angle.
- the support device may include a display unit that displays the vegetative growth rate and the reliability associated with the divided area together with the image.
- the plurality of predetermined regions in the image are divided into a plurality of the segmented regions, and the support device includes an evaluation value calculation unit that calculates an evaluation value based on the vegetative growth rate and the reliability for each of the segmented regions, and calculates an overall evaluation value for each of the predetermined regions by adding up the evaluation values calculated for each of the segmented regions, and the output unit may output the overall evaluation value linked to each of the predetermined regions.
- the worker can properly grasp the location in the field where intervention should be focused or work should be performed with priority. For example, the worker can use the overall evaluation value as a criterion for deciding which area to focus on when photographing the next area of the field where crops are grown. For example, by performing an overall evaluation for each ridge in the field, the worker can decide which ridge to start work on.
- the plurality of predetermined regions in the image are divided into a plurality of the segmented regions, and the support device includes an evaluation value calculation unit that calculates an evaluation value based on the vegetative growth rate and the reliability for all the segmented regions included in the plurality of the predetermined regions and calculates an overall evaluation value by adding up the calculated evaluation values, and the output unit may output the overall evaluation value linked to the plurality of the predetermined regions.
- the operator can check the overall evaluation value for the entire field.
- the support device may include a storage unit that stores the vegetative growth degree and the reliability in association with the multiple divided areas, and an update unit that updates the vegetative growth degree and the reliability of the divided areas stored in the storage unit based on the vegetative growth degree and the reliability of the divided areas in the image when the crop was photographed, for the divided areas that overlap between the multiple divided areas in the image when the crop was photographed and the multiple divided areas stored in the storage unit, if the reliability of the divided area in the image when the crop was photographed satisfies a predetermined standard.
- the vegetative growth degree and reliability of the divided areas stored in the storage unit become the latest values. This allows the worker to more accurately grasp the areas in the field where intervention should be focused or work should be performed with priority.
- the support method includes the steps of: acquiring an image generated by photographing a crop; calculating a vegetative growth degree indicating the degree of vegetative growth of the crop in a divided area within the image; calculating a reliability indicating the likelihood of the vegetative growth degree in the divided area; and outputting the vegetative growth degree and the reliability in association with the divided area.
- a program according to one aspect of the present invention is a program for causing a computer to execute the steps of: acquiring an image generated by photographing a crop; calculating a vegetative growth degree indicating the degree of vegetative growth of the crop in a divided area within the image; calculating a reliability indicating the likelihood of the vegetative growth degree in the divided area; and outputting the vegetative growth degree and the reliability in association with the divided area.
- the present invention provides a technology that makes it possible to easily grasp the overall growth level of a crop, and to grasp how accurately the growth level of the crop can be grasped.
- FIG. 1 is a block diagram showing the configuration of a cultivation support system.
- FIG. 2 is a flowchart showing an example of the operation of the cultivation support system according to the first embodiment.
- FIG. 3 is a diagram showing an example of an image of a cultivation area.
- 4A and 4B are explanatory diagrams of a process for extracting a predetermined area from an image of a cultivation area.
- FIG. 5 is an explanatory diagram of a process for dividing a predetermined area into a plurality of partitioned areas.
- FIG. 6 is a diagram showing the LAI of each partitioned area.
- FIG. 7 is a diagram illustrating the LAI and the reliability.
- FIG. 8 is a block diagram showing the configuration of the cultivation support system.
- FIG. 9 is a flowchart showing an example of the operation of the cultivation support system according to the second embodiment.
- FIG. 10 is a flowchart illustrating an example of the update process.
- Fig. 1 is a block diagram showing the configuration of the cultivation support system 1.
- the cultivation support system 1 is a system that supports a worker who works in a farm field, which is an example of a workplace for agriculture and the like. The worker performs cultivation work on crops (plants) in the farm field. Types of cultivation work on crops include, but are not limited to, defoliation, flower removal, bud removal, training, leaf removal, bud removal, top removal, watering, top dressing, pesticide spraying, and harvesting.
- the cultivation support system 1 includes a photographing unit 10, a control unit 20, a display unit 30, and a storage unit 40.
- the photographing unit 10 is a photographing device such as a camera that photographs an object and generates an image (image data) of the photographed object.
- the photographing unit 10 may be a handheld camera of an operator.
- the photographing unit 10 may be a camera that is included in an operator's mobile phone, smartphone, tablet terminal, or the like.
- the photographing unit 10 may be a camera installed in a field.
- the camera installed in the field may be a fixed camera whose photographing position is fixed, or may be a movable camera whose photographing position can be changed.
- the control unit 20 is a processing device that acquires image data from the photographing unit 10 and executes various processes.
- the control unit 20 is configured to include an acquisition unit 110, an area division unit 120, a vegetative growth degree calculation unit 130, a reliability calculation unit 140, and an output unit 150.
- the control unit 20 includes a CPU (Central Processing Unit), RAM (Random Access Memory), ROM (Read Only Memory), etc., and controls each part of the control unit 20 and performs various processes.
- the display unit 30 is a display device such as a display that displays various images and data.
- the display unit 30 may have an input device such as a touch panel.
- the memory unit 40 stores programs executed by the control unit 20 and various data used in the processes executed by the control unit 20.
- the memory unit 40 may be an auxiliary storage device such as a HDD (Hard Disk Drive) or SSD (Solid State Drive).
- the memory unit 40 may be realized by a removable storage medium.
- the cultivation support system 1 may have a communication interface used for communication, and an input device such as a mouse or a touch panel.
- the functions of the cultivation support system 1 may be realized by a computer on the cloud.
- the imaging unit 10, the control unit 20, the display unit 30, and the memory unit 40 may be configured as an integrated unit, or may be configured separately. At least two of the imaging unit 10, the control unit 20, the display unit 30, and the memory unit 40 may be configured as an integrated unit.
- FIG. 2 is a flowchart showing an example of the operation of the cultivation support system 1 according to the first embodiment. An example of the operation of the cultivation support system 1 according to the first embodiment will be described along the flowchart of FIG. 2.
- the photographing unit 10 photographs a predetermined area of the field and generates image data including color information (RGB value of each pixel) and distance information (depth value of each pixel).
- the depth value indicates, for example, the distance between the photographing unit 10 and the photographed object, and is distance information in the depth direction of the image.
- the predetermined area of the field is, for example, an area in which crops are cultivated in the field.
- a stereo camera or an RGBD camera may be used as the photographing unit 10.
- FIG. 3 is a diagram showing an example of an image (photographed image) photographed of an area (cultivation area) in which crops are cultivated in the field.
- image 200 shown in FIG. 3 it is possible to grasp the degree of growth of the crop on the front side in the depth direction, but it is not easy to grasp the degree of growth of the crop as it moves toward the back side in the depth direction.
- step S ⁇ b>12 the acquisition unit 110 acquires image data from the imaging unit 10 .
- the region dividing unit 120 extracts a predetermined region (specific area) from the photographed image based on the color information included in the image data.
- the predetermined region is a region where crops are planted from the front to the back, such as a ridge, a rice field, or a field, but may be other regions.
- the predetermined region extracted from the photographed image may be one of a plurality of predetermined regions arranged at regular intervals, or one of a plurality of predetermined regions arranged randomly.
- the region dividing unit 120 may extract a predetermined region from the photographed image by pattern matching.
- the region dividing unit 120 may extract a plurality of predetermined regions from the photographed image.
- Figures 4A and 4B are explanatory diagrams of a process of extracting a predetermined region from an image of a cultivation area.
- Figure 4A shows a state before an extraction process is performed on an image 200 of a cultivation area.
- Figure 4B shows a state after an extraction process is performed on an image 200 of a cultivation area, in which a predetermined region 201 is extracted from the image 200.
- the captured image may be displayed on the display unit 30, and the worker may use an input device to input the boundary of a specified area for the captured image displayed on the display unit 30.
- the area division unit 120 may extract a specified area from the captured image based on the boundary of the specified area in the captured image displayed on the display unit 30.
- the worker may also print the captured image on paper, write the boundary of the specified area for the captured image printed on the paper, and then scan the captured image printed on the paper with a scanning device.
- the area division unit 120 may extract a specified area from the captured image based on the boundary of the specified area in the captured image scanned by the scanning device.
- the region dividing unit 120 divides the predetermined region into a plurality of divided regions based on the distance information (distance data) included in the image data.
- the region dividing unit 120 may divide each of the plurality of predetermined regions in the captured image into a plurality of divided regions, or may divide one of the plurality of predetermined regions in the captured image into a plurality of divided regions.
- the region dividing unit 120 may divide the predetermined region into a plurality of divided regions by defining a group of pixels in which the depth value of each pixel included in the image data is included within a certain range as one region (area).
- the region dividing unit 120 may determine one predetermined region in the captured image as one divided region.
- FIG. 5 is an explanatory diagram of the process of dividing the predetermined region into a plurality of divided regions.
- the predetermined region 201 is divided into divided regions 201A, 201B, and 201C.
- the divided region 201A is an area constituted by a group of pixels in which the depth value of each pixel included in the image data is equal to or greater than 0 and less than 0.3.
- Segmented region 201B is an area made up of a group of pixels in the image data whose depth values are greater than or equal to 0.3 and less than 0.6.
- Segmented region 201C is an area made up of a group of pixels in the image data whose depth values are greater than or equal to 0.6 and less than or equal to 1.0.
- the captured image may be displayed on the display unit 30, and the worker may use an input device to input the width and length of a specified area in the captured image displayed on the display unit 30.
- the area dividing unit 120 may divide the specified area into a plurality of divided areas based on the width and length of the specified area.
- Tags or QR codes registered trademark
- the area dividing unit 120 may calculate the width and length of the specified area based on the tag or QR code (registered trademark) in the captured image, and divide the specified area into a plurality of divided areas based on the width and length of the specified area.
- the captured image may be displayed on the display unit 30, and the worker may use an input device to input boundaries of multiple segment areas for the captured image displayed on the display unit 30.
- the area division unit 120 may divide the specified area into multiple segment areas based on the input boundaries of the multiple segment areas.
- the worker may also print the captured image on paper, write boundaries of the multiple segment areas for the captured image printed on paper, and then scan the captured image printed on paper with a scanning device.
- the area division unit 120 may divide the specified area into multiple segment areas based on boundaries of the multiple segment areas in the captured image scanned by the scanning device.
- the specified area in the captured image scanned by the scanning device may be divided into multiple segment areas. In this case, the process of step S14 is omitted.
- the vegetative growth degree calculation unit 130 calculates the vegetative growth degree indicating the degree of vegetative growth of the crop in the photographed image for each of the multiple divided areas based on the color information included in the image data.
- the vegetative growth degree calculation unit 130 may calculate the vegetative growth degree for one divided area based on the color information included in the image data.
- the vegetative growth degree may include, for example, a Leaf Area Index (LAI) indicating the ratio between the total area of the cultivation area and the total area of the leaves in the cultivation area.
- the vegetative growth degree may also include other indices other than the LAI, such as the stem diameter at a specific location, the size of the leaves or fruit, etc.
- the vegetative growth degree calculation unit 130 may calculate the LAI for each divided area of the multiple divided areas by dividing the number of green pixels in each divided area by the total number of pixels in each divided area.
- FIG. 6 is a diagram showing the LAI for each divided area.
- the LAI of segmented area 201A is 0.5
- the LAI of segmented area 201B is 0.9
- the LAI of segmented area 201C is 0.8.
- the reliability calculation unit 140 calculates a reliability indicating the likelihood of the vegetative growth of the crop in the captured image for each of the multiple divided areas.
- the reliability calculation unit 140 may calculate the reliability for one divided area.
- the reliability is an index indicating the likelihood of the vegetative growth calculated from the captured image. For example, when the crop is strawberry and the vegetative growth includes LAI, the reliability is high when the cultivation area is photographed from above, and the reliability is low when the cultivation area is photographed diagonally or from the side. In addition, when the cultivation area is photographed from a long distance, the reliability is low because the leaves of the crop overlap at the front and back.
- the reliability calculation section 140 may calculate the reliability based on the following formula 1.
- (Equation 1) Reliability 1 - (average depth value of pixels in each partitioned region / distance D)
- the distance D is the length of each partitioned region in the depth direction, and in the case of a ridge, for example, is the length of the side of the ridge in the depth direction.
- Figure 7 is an explanatory diagram of LAI and reliability.
- the left side of Figure 7 shows a specified area 201 extracted from an image of the cultivation area photographed from an oblique direction.
- Figure 7 also shows an image of divided areas 201A, 202B, and 202C viewed from directly above.
- the image of divided areas 201A, 202B, and 202C viewed from directly above shows the state of the crops in each of divided areas 201A, 202B, and 202C.
- the LAI of divided area 201A is 0.5, and the reliability of divided area 201A is 0.9.
- the reliability of divided area 201A is high because the subject of the photograph is close to the photographing point.
- An image of the cultivation area photographed from the side or diagonal direction close to the subject of the photograph includes areas of the cultivation area where no crops are planted, so there is a small discrepancy between the photographed image and the image.
- the LAI of divided area 201B is 0.9, and the reliability of divided area 201B is 0.5.
- the LAI of divided area 201C is 0.8, and the reliability of divided area 201C is 0.1.
- the reliability of divided area 201C is low because the subject of the photograph is far from the photographing point.
- An image of a cultivation area photographed from the side or at an angle far from the subject of the photograph may not include areas of the cultivation area where no crops are planted. In such cases, the deviation between the photographed image and the image becomes larger.
- the higher the reliability the smaller the deviation between the photographed image and the image, and the lower the reliability, the greater the deviation between the photographed image and the image. Therefore, the higher the reliability, the more accurately the LAI represents the actual crop condition, and the lower the reliability, the more likely it is that the LAI does not accurately represent the actual crop condition.
- the method of calculating the reliability is not limited to Equation 1.
- the reliability of each segmented region may be calculated by multiplying the average depth value of the pixels in each segmented region by a preset coefficient.
- the output unit 150 outputs the nutritional growth degree and reliability linked to multiple segmented areas.
- the output unit 150 may output the nutritional growth degree and reliability linked to one segmented area.
- the display unit 30 may display the nutritional growth degree and reliability linked to multiple segmented areas.
- the display unit 30 may display the nutritional growth degree and reliability linked to multiple segmented areas together with the captured image. For example, the display unit 30 may display the captured image and display the nutritional growth degree and reliability linked to the multiple segmented areas next to the captured image.
- the display unit 30 may display the captured image and display the nutritional growth degree and reliability linked to the multiple segmented areas superimposed on the captured image.
- the display unit 30 may display a map of a farm field, and may superimpose a predetermined area divided into a plurality of divided areas and the vegetative growth degree and reliability associated with the plurality of divided areas on the map of the farm field.
- the display unit 30 may display the vegetative growth degree and reliability associated with the divided area together with the photographed image.
- the display unit 30 may display the vegetative growth degree as a number, a color, or a color saturation.
- the display unit 30 may display the reliability as a number, a color, or a color saturation.
- the reliability may be displayed as a line thickness by changing the thickness of the line indicating the boundary between the plurality of divided areas for each divided area.
- the output unit 150 outputs the nutritional growth degree and reliability in association with a plurality of divided regions, and the display unit 30 displays the nutritional growth degree and reliability in association with a plurality of divided regions.
- This allows the worker to easily grasp the overall growth degree of the crop.
- the worker can also grasp how accurately he or she has grasped the overall growth degree of the crop. For example, when determining the location to work on the crop based on the captured image, the worker can properly grasp the location to work on the crop. Therefore, the worker can properly grasp the location in the field where intervention should be focused or work should be performed with priority, improving work efficiency and yield in the field.
- the cultivation support system 1 anyone can easily collect data, and as many users use it and data is accumulated, it can contribute to the spread of smart agriculture.
- the output unit 150 may link the vegetative growth degree and reliability to a plurality of divided regions using the region identification ID and store them in the storage unit 40.
- the region identification ID is identification information for identifying the specified region and the plurality of divided regions.
- the output unit 150 may link the vegetative growth degree and reliability to a specified region and the plurality of divided regions using the region identification ID and store them in the storage unit 40.
- the output unit 150 may link the vegetative growth degree and reliability to the captured image, the specified region, and the plurality of divided regions using the region identification ID and store them in the storage unit 40.
- the output unit 150 may link the vegetative growth degree and reliability to a map of the field, the specified region, and the plurality of divided regions using the region identification ID and store them in the storage unit 40.
- the control unit 20 may calculate an evaluation value based on the nutritional growth degree and the reliability for each of the multiple partitioned areas, and calculate an overall evaluation value (total score) for each of the multiple specified areas by adding up the evaluation values calculated for each of the multiple partitioned areas.
- the control unit 20 is an example of an evaluation value calculation unit.
- the nutritional growth degree calculation unit 130, the reliability calculation unit 140, or the output unit 150 may calculate the overall evaluation value.
- the output unit 150 may output the overall evaluation value linked to each of the multiple specified areas.
- the control unit 20 may calculate the overall evaluation value based on the following formula 2.
- the display unit 30 may display an overall evaluation value linked to each of the multiple specified areas.
- the display unit 30 may display the overall evaluation value linked to each of the multiple specified areas together with the captured image.
- the display unit 30 may display the captured image and display the overall evaluation value linked to each of the multiple specified areas next to the captured image.
- the display unit 30 may display the captured image and display the overall evaluation value linked to each of the multiple specified areas superimposed on the captured image.
- the display unit 30 may display a map of a farm field and display the multiple specified areas and the overall evaluation value linked to each of the multiple specified areas superimposed on the map of the farm field.
- the output unit 150 outputs the overall evaluation value linked to each of the multiple specified areas, and the display unit 30 displays the overall evaluation value linked to each of the multiple specified areas.
- the specified area is a ridge
- the specified area is a rice field or a specified area.
- the worker can improve the measurement accuracy of the vegetative growth degree by taking additional photographs of low-reliability areas using a method that increases reliability and updating the vegetative growth degree.
- methods that increase reliability include taking a photograph closer to the location of the previous photograph the next time and taking a photograph with a higher resolution than the previous photograph the next time.
- the control unit 20 may calculate an evaluation value based on the vegetative growth degree and the reliability for all divided areas included in the multiple specified areas, and calculate an overall evaluation value by adding up the calculated evaluation values. This allows the operator to check the overall evaluation value for the entire field.
- the vegetative growth degree calculation unit 130, the reliability calculation unit 140, or the output unit 150 may calculate the overall evaluation value.
- the output unit 150 may output the overall evaluation value linked to the multiple specified areas.
- the control unit 20 may multiply the reliability of each divided area by a specific coefficient.
- the display unit 30 may display an overall evaluation value linked to the multiple specified areas.
- the display unit 30 may display the overall evaluation value linked to the multiple specified areas together with the captured image.
- the display unit 30 may display the captured image and display the overall evaluation value linked to the multiple specified areas next to the captured image.
- the display unit 30 may display the captured image and display the overall evaluation value linked to the multiple specified areas superimposed on the captured image.
- the display unit 30 may display a map of a farm field and display the multiple specified areas and the overall evaluation value linked to the multiple specified areas superimposed on the map of the farm field.
- the photographing unit 10 photographs a predetermined area of a field and generates image data including color information and distance information, but the present invention is not limited to this processing example.
- the photographing unit 10 may photograph a predetermined area of a field and generate image data including color information and position information (coordinate X, coordinate Y, coordinate Z).
- the photographing unit 10 may generate a photographed image (three-dimensional image) having color information and three-dimensional information (coordinate X, coordinate Y, coordinate Z).
- the coordinate X, coordinate Y, and coordinate Z indicate the position of a point in a Cartesian coordinate system with a certain point as the origin.
- the coordinate X, coordinate Y, and coordinate Z are stored in a point cloud format or a mesh format.
- the area division unit 120 may divide the predetermined area into multiple divided areas based on the position information (position data) included in the image data. For example, the predetermined area may be divided into multiple divided areas by defining a group of pixels in which the coordinate X, coordinate Y, and coordinate Z of each pixel included in the image data are included in a certain range as one area. Furthermore, the region division unit 120 may convert the position information included in the image data into distance information, and use the converted distance information as an alternative value for the depth value. The reliability calculation unit 140 may calculate the reliability based on the position information included in the image data. For example, the reliability calculation unit 140 may use the distance information converted from the position information by the region division unit 120 as an alternative value for the depth value, and calculate the reliability based on Equation 1.
- the vegetative growth degree calculation unit 130 may calculate the vegetative growth degree for each of a plurality of divided regions based on at least one of the length, area, and volume of the crop in the image and the color information included in the image data.
- the length of the crop may be, for example, the thickness of the stem at a specific position of the crop. In the case of cherry tomatoes, there is a correlation between the stem diameter at a specific position and the size of the leaves that will grow in the future.
- the length of the crop may be, for example, the leaf length or leaf width of a specific leaf of the crop. In the case of strawberries, there is a correlation between the length or width of a specific leaf and photosynthetic products.
- the area of the crop is, for example, the size of the leaf area in a certain region.
- the size of the leaf area in a certain region may be expressed as the LAI.
- the vegetative growth degree calculation unit 130 may measure the degree of withering of the leaves. For example, the vegetative growth degree calculation unit 130 may calculate the degree of withering of the crop in each of the multiple divided regions by dividing the number of at least one of the yellow and brown pixels in each divided region by the total number of pixels in each divided region.
- the vegetative growth degree calculation unit 130 may reduce the LAI of each divided region according to the degree of withering of the crop in each divided region.
- the vegetative growth degree calculation unit 130 may also calculate the vegetative growth degree including the LAI and the degree of withering of the crop for each divided region.
- the area of the crop is, for example, the total volume of the stalk in a certain space.
- the reliability calculation unit 140 may calculate the reliability by increasing or decreasing the value calculated based on Equation 1 according to the angle (imaging angle) between the line connecting the imaging device (for example, the imaging unit 10) and the imaging target and the horizontal plane, the direction of gravity, the ground, etc. For example, when a crop such as strawberry is photographed from directly above the stalk, the leaves overlap less, but when the stalk is photographed from the side or diagonally, the leaves overlap more.
- the imaging target includes a specific crop, a crop in a divided area, and the entire imaging range of the imaging device.
- the imaging angle in the case of a divided area may be the average value of the angle with respect to the center or representative location of the divided area or the angle with respect to all points in the divided area.
- the imaging angle in the case of the entire imaging range may be the average value of the angle with respect to the center or representative location of the entire imaging range or the angle with respect to all points in the entire imaging range, or may simply be the angle between the imaging direction of the imaging device and the horizontal plane, the direction of gravity, the ground, etc.
- An acceleration sensor or gyro sensor included in the imaging unit 10 may measure the imaging angle.
- the acquisition unit 110 may acquire the shooting angle when the captured image was captured from the imaging unit 10.
- the reliability calculation unit 140 can calculate the reliability according to the shooting angle by increasing or decreasing the value calculated based on Equation 1 according to the shooting angle. If the shooting angle satisfies a predetermined criterion, the reliability calculation unit 140 may increase the value calculated based on Equation 1. If the shooting angle does not satisfy the predetermined criterion, the reliability calculation unit 140 may decrease the value calculated based on Equation 1.
- the reliability calculation unit 140 may calculate the reliability by increasing or decreasing the value calculated based on Equation 1 according to the image resolution of the imaging device (e.g., the imaging unit 10).
- the acquisition unit 110 may acquire the image resolution from the imaging unit 10.
- the reliability calculation unit 140 can calculate the reliability according to the image resolution of the imaging device by increasing or decreasing the value calculated based on Equation 1 according to the image resolution of the imaging device.
- the reliability calculation unit 140 may calculate the reliability based on the density of the point cloud contained in the captured image.
- a 3D model image is an image in which a three-dimensional model (3D model) of a captured object is created by capturing the captured object multiple times at different angles. The more captured images used to create the 3D model image, the clearer the 3D model image can be created. Also, the longer the scanning time in creating the 3D model image, the clearer the 3D model image can be created.
- the reliability calculation unit 140 may calculate the reliability based on at least one of the number of captured images used to create the 3D model image and the scanning time in creating the 3D model image.
- FIG. 8 is a block diagram showing the configuration of the cultivation support system 1.
- the cultivation support system 1 includes an image capture unit 10, a control unit 20, a display unit 30, and a storage unit 40.
- the control unit 20 is configured to include an acquisition unit 110, an area division unit 120, a nutritional growth degree calculation unit 130, a reliability calculation unit 140, an output unit 150, and an update unit 160.
- the vegetative growth degree and reliability may be linked to a specific area and multiple divided areas by the area identification ID and stored in the storage unit 40.
- the vegetative growth degree and reliability may be linked to a specific area and multiple divided areas by the area identification ID and stored in the storage unit 40.
- the vegetative growth degree and reliability may be linked to a captured image, a specific area, and multiple divided areas by the area identification ID and stored in the storage unit 40.
- the vegetative growth degree and reliability may be linked to a field map, a specific area, and multiple divided areas by the area identification ID and stored in the storage unit 40.
- Fig. 9 is a flowchart showing an example of the operation of the cultivation support system 1 according to the second embodiment.
- An example of the operation of the cultivation support system 1 according to the second embodiment will be described with reference to the flowchart of Fig. 9.
- Steps S21 to S26 are similar to steps S11 to S16 in the flowchart of Fig. 2, and therefore description thereof will be omitted.
- step S27 the update unit 160 acquires the vegetative growth degree and the reliability degree, and performs update processing.
- FIG. 10 is a flowchart showing an example of the update process. An example of the update process will be described with reference to the flowchart in FIG. 10.
- step S31 the update unit 160 determines whether or not the specified area in the image captured at the current time of shooting is the same as the specified area stored in the storage unit 40. If the specified area in the image captured at the current time of shooting is the same as the specified area stored in the storage unit 40 (step S31; YES), the process proceeds to step S32. If the specified area in the image captured at the current time of shooting is not the same as the specified area stored in the storage unit 40 (step S31; NO), the process proceeds to step S28.
- the worker may input information (area identification information) that identifies the specified area using an input device when photographing the cultivation area or after photographing.
- a tag or QR code registered trademark
- the update unit 160 may automatically recognize the specified area. For example, a tag or QR code (registered trademark) may be placed in the field, and the update unit 160 may calculate the width and length of the specified area based on the tag or QR code (registered trademark) in the photographed image.
- the update unit 160 may identify the specified area based on the width and length of the specified area and output the area identification information.
- the update unit 160 may identify the specified area by pattern matching peripheral information (e.g., characteristics of a greenhouse) in the photographed image and output the area identification information.
- the area identification information is stored in the memory unit 40.
- the update unit 160 may determine whether the specified area in the photographed image at the time of current photographing is the same as the specified area stored in the memory unit 40, based on the area identification information at the time of current photographing and the area identification information stored in the memory unit 40.
- step S32 the update unit 160 determines whether or not there are any overlapping segmented areas (overlapping areas) between the multiple segmented areas in the captured image at the current time of shooting and the multiple segmented areas stored in the storage unit 40. If there are any overlapping segmented areas (step S32; YES), the process proceeds to step S33. If there are no overlapping segmented areas (step S32; NO), the process proceeds to step S28.
- step S33 the update unit 160 determines whether the reliability of the overlapping segmented areas in the captured image at the time of the current shooting meets the predetermined criterion. If the reliability of the overlapping segmented areas in the captured image at the time of the current shooting is higher than the reliability of the segmented area stored in the storage unit 40, the update unit 160 determines that the reliability of the segmented areas in the captured image at the time of the current shooting meets the predetermined criterion.
- the update unit 160 determines that the reliability of the segmented areas in the captured image at the time of the current shooting does not meet the predetermined criterion. If the reliability of the overlapping segmented areas in the captured image at the time of the current shooting meets the predetermined criterion (step S33; YES), the process proceeds to step S34. If the reliability of the overlapping segmented areas in the captured image at the time of the current shooting does not meet the predetermined criterion (step S33; NO), the process proceeds to step S28.
- step S34 the update unit 160 updates the nutrient growth degree and reliability of the overlapping divided areas stored in the memory unit 40 based on the nutrient growth degree and reliability of the divided areas in the image captured at the current time of shooting.
- step S28 the processing proceeds to step S28.
- step S28 the output unit 150 outputs the vegetative growth rate and reliability rate linked to the multiple divided regions.
- Step S28 is similar to S17 in the flowchart of FIG. 2, so a detailed description is omitted.
- the update unit 160 may perform a process to reduce the reliability of the divided area stored in the memory unit 40 when the elapsed time from the time stored in the memory unit 40 exceeds a predetermined time. As time passes, the length, area, and volume of the crop change due to growth, etc.
- the update unit 160 may reduce the reliability of the divided area stored in the memory unit 40 by a larger amount as the elapsed time from the time stored in the memory unit 40 increases. This allows the worker to more appropriately grasp the areas in the field where intervention should be focused on or work should be performed with priority.
- the present invention may be understood as a cultivation support device, information processing device, or information processing system having at least some of the configurations, means, and functions described above.
- the present invention may be understood as a cultivation support method or information processing method including at least some of the processes described above.
- the present invention may be understood as a method in which a computer executes each of the processes described above.
- the present invention may be understood as a program for causing a computer to execute each of the processes described above, and the program may be provided to the computer via a network or from a computer-readable recording medium that non-temporarily holds data.
- a program for causing an information processing device or other machine or device (hereinafter, computer, etc.) to realize any of the above functions can be recorded on a computer-readable recording medium.
- the function can be provided by having the computer, etc. read and execute the program from the recording medium.
- a computer-readable recording medium refers to a recording medium that stores information such as data and programs through electrical, magnetic, optical, mechanical, or chemical action and can be read by a computer, etc.
- ⁇ Appendix 1> An acquisition unit (110) that acquires an image generated by photographing a crop; a growth degree calculation unit (130) for calculating a vegetative growth degree indicating a degree of vegetative growth of the crop in the divided region within the image; a reliability calculation unit (140) that calculates a reliability indicating the likelihood of the vegetative growth degree in the divided region; an output unit (150) that outputs the vegetative growth degree and the reliability degree in association with the divided area;
- An assistance device (1) comprising: ⁇ Appendix 2> A region dividing unit (120) that divides a predetermined region in the image into a plurality of the divided regions, The growth degree calculation unit (130) calculates the vegetative growth degree for each of the plurality of divided areas, The reliability calculation unit (140) calculates the reliability for each of the plurality of partitioned regions, The output unit (150) outputs the vegetative growth degree and the reliability degree in association with the plurality of divided areas.
- the assistance device (1) according to claim 1. ⁇ Appendix 3> The growth degree calculation unit (130) calculates the vegetative growth degree based on at least one of the length, area, and volume of the crop in the image and color information of the image. 2. The assistance device (1) according to claim 1. ⁇ Appendix 4> The reliability calculation unit (140) calculates the reliability based on distance information in a depth direction of the image. 4. An assistance device (1) according to any one of appendices 1 to 3. ⁇ Appendix 5> The reliability calculation unit (140) calculates the reliability based on position information of the image having three-dimensional information. 4. An assistance device (1) according to any one of appendices 1 to 3.
- ⁇ Appendix 6> The acquisition unit acquires a shooting angle when the image was captured, The reliability calculation unit calculates the reliability according to the imaging angle. 6. An assistance device (1) according to any one of appendices 1 to 5.
- ⁇ Appendix 7> A display unit (30) is provided for displaying the vegetative growth degree and the reliability associated with the divided region together with the image. 7. An assistance device (1) according to any one of appendices 1 to 6.
- a plurality of predetermined regions in the image are divided into a plurality of the partition regions, an evaluation value calculation unit (20) that calculates an evaluation value based on the vegetative growth degree and the reliability for each of the plurality of partitioned regions, and calculates a comprehensive evaluation value for each of the plurality of predetermined regions by adding up the evaluation values calculated for each of the plurality of partitioned regions;
- the output unit (150) outputs the comprehensive evaluation value in association with each of the plurality of predetermined regions.
- An assistance device (1) according to any one of appendices 1 to 7.
- a plurality of predetermined regions in the image are divided into a plurality of the partition regions, an evaluation value calculation unit (20) that calculates an evaluation value based on the vegetative growth degree and the reliability for all of the partitioned areas included in the plurality of predetermined areas, and calculates a comprehensive evaluation value by adding up the calculated evaluation values;
- the output unit (150) outputs the comprehensive evaluation value in association with a plurality of the predetermined regions.
- the assistance device (1) according to any one of appendices 1 to 9, comprising: ⁇ Appendix 11> A step of photographing a crop and acquiring an image generated by the photographing (S12, S22); A step of calculating a vegetative growth degree indicating a degree of vegetative growth of the crop in the divided region within the image (S15, S25); A step of calculating a reliability indicating the likelihood of the vegetative growth degree in the divided region (S16, S26); outputting the vegetative growth rate and the reliability rate in association with the divided area (S17, S28); A method of support that provides: ⁇ Appendix 12> On the computer, A step of photographing a crop and acquiring an image generated by the photographing (S12, S22); A step of calculating a vegetative growth degree indicating a degree of vegetative growth of the crop in the divided region within the image (S15, S25); A step of calculating a reliability indicating the likelihood of the vegetative growth degree in the plurality of regions (S16, S26); outputting
Landscapes
- Life Sciences & Earth Sciences (AREA)
- Biodiversity & Conservation Biology (AREA)
- Botany (AREA)
- Ecology (AREA)
- Forests & Forestry (AREA)
- Environmental Sciences (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
簡易に作物全体の成長度合いを把握すると共に、作物の成長度合いをどのくらい正確に把握できているかを把握する。支援装置は、作物を撮影して生成された画像を取得する取得部と、画像内の区分領域における作物の栄養成長の度合いを示す栄養成長度を算出する成長度算出部と、区分領域における栄養成長度の確からしさを表す信頼度を算出する信頼度算出部と、栄養成長度及び信頼度を、区分領域に紐づけて出力する出力部と、を備える。
Description
本発明は、支援装置、支援方法及びプログラムに関する。
例えば、特許文献1には、農作物の調査の信頼性を把握するための情報処理装置、情報処理装置の制御方法及びプログラムに関する技術が記載されている。
従来、カメラなどを用いて圃場(農場)を撮影した画像から圃場の作物の成長度合いを把握することが行われている。しかし、画像の奥行方向における手前側の作物の成長度合いを把握することができても、画像の奥行方向における奥側の作物の成長度合いを把握することができない場合がある。例えば、作物を斜めや横から撮影した場合、作物の葉っぱが前後で重なり合うことで、画像の奥行方向における奥側の作物の成長度合いを把握することができない場合がある。衛星データやドローンによって上空から撮影された画像を用いて、圃場の作物の成長度合いを把握することが行われる場合もあるが、衛星データやドローンは、誰でも簡単に扱えるとは限らない。また、作物全体の成長度合いを正確に把握できていない場合には、圃場における作業効率が悪くなってしまう。
本発明は上記実情に鑑みてなされたものであって、その目的とするところは、簡易に作物全体の成長度合いを把握すると共に、作物の成長度合いをどのくらい正確に把握できているかを把握することが可能な技術を提供することを目的とする。
本発明の一観点に係る支援装置は、作物を撮影して生成された画像を取得する取得部と、前記画像内の区分領域における前記作物の栄養成長の度合いを示す栄養成長度を算出する成長度算出部と、前記区分領域における前記栄養成長度の確からしさを表す信頼度を算出する信頼度算出部と、前記栄養成長度及び前記信頼度を、前記区分領域に紐づけて出力する出力部と、を備える支援装置である。支援装置によれば、作業者は、簡易に作物全体の成長度合いを把握することができる。また、作業者は、作物全体の成長度合いをどのくらい正確に把握できているかを把握することが可能となる。すなわち、作業者は、作物全体の成長度合いについて、正しく把握できている部分と、大雑把に把握できている部分とを把握することが可能となる。例えば、作業者は、画像に基づいて作物に対する作業を行う箇所を決定する際、作物に対する作業を行う箇所を適切に把握することが可能となる。したがって、作業者は、圃場における重点的に介入する又は優先的に作業を行う箇所を適切に把握することができ、圃場における作業効率及び収量が向上する。
上記支援装置は、前記画像内の所定領域を、複数の前記区分領域に区分けする領域区分け部を備え、前記成長度算出部は、前記栄養成長度を複数の前記区分領域ごとに算出し、前記信頼度算出部は、前記信頼度を複数の前記区分領域ごとに算出し、前記出力部は、前記栄養成長度及び前記信頼度を、複数の前記区分領域に紐づけて出力してもよい。上記支援装置において、前記成長度算出部は、前記画像内の前記作物の長さ、面積、体積及び前記画像の色情報の少なくとも一つに基づいて、前記栄養成長度を算出してもよい。上記支援装置において、前記信頼度算出部は、前記画像の奥行方向の距離情報に基づいて、前記信頼度を算出してもよい。上記支援装置において、前記信頼度算出部は、3次元情報を持つ前記画像の位置情報に基づいて、前記信頼度を算出してもよい。上記支援装置において、前記取得部は、前記画像が撮影された際の撮影角度を取得し、前記信頼度算出部は、前記撮影角度に応じた前記信頼度を算出してもよい。
上記支援装置は、前記区分領域に紐づけられた前記栄養成長度及び前記信頼度を、前記画像と共に表示する表示部を備えてもよい。作業者は、表示部に表示された画像に基づいて作物に対する作業を行う箇所を決定する際、作物に対する作業を行う箇所を適切に把握することが可能となる。
前記画像内の複数の所定領域が、複数の前記区分領域に区分けされており、上記支援装置は、前記栄養成長度及び前記信頼度に基づいた評価値を複数の前記区分領域ごとに算出し、複数の前記区分領域ごとに算出した前記評価値を合算した総合評価値を複数の前記所定領域ごとに算出する評価値算出部を備え、前記出力部は、前記総合評価値を、複数の前記所定領域ごとに紐づけて出力してもよい。作業者は、複数の所定領域ごとの総合評価値を確認することで、圃場における重点的に介入する又は優先的に作業を行う箇所を適切に把握することができる。例えば、作業者は、圃場における作物が栽培されている領域の次回の撮影の際に、どの領域を重点的に撮影するかどうかの判断材料として、総合評価値を活用することができる。例えば、圃場の畝ごとに総合評価を行うことで、作業者は、どの畝から作業を行うかどうかを判断することができる。
前記画像内の複数の所定領域が、複数の前記区分領域に区分けされており、上記支援装置は、前記栄養成長度及び前記信頼度に基づいた評価値を複数の前記所定領域に含まれる全部の前記区分領域について算出し、算出した前記評価値を合算することにより総合評価値を算出する評価値算出部を備え、前記出力部は、前記総合評価値を、複数の前記所定領域に紐づけて出力してもよい。作業者は、圃場全体の総合評価値を確認することができる。
上記支援装置は、前記栄養成長度及び前記信頼度を、複数の前記区分領域に紐づけて記憶する記憶部と、前記作物が撮影されたときの前記画像における複数の前記区分領域と、前記記憶部に記憶されている複数の前記区分領域と、の間で重複する前記区分領域について、前記作物が撮影されたときの前記画像における前記区分領域の前記信頼度が所定基準を満たす場合、前記作物が撮影されたときの前記画像における前記区分領域の前記栄養成長度及び前記信頼度に基づいて、前記記憶部に記憶されている前記区分領域の前記栄養成長度及び前記信頼度を更新する更新部と、を備えてもよい。記憶部に記憶されている区分領域の栄養成長度及び信頼度を更新することにより、記憶部に記憶されている区分領域の栄養成長度及び信頼度が最新値となる。これにより、作業者は、圃場における重点的に介入する又は優先的に作業を行う箇所をより正確に把握することができる。
本発明の一観点に係る支援方法は、作物を撮影して生成された画像を取得するステップと、前記画像内の区分領域における前記作物の栄養成長の度合いを示す栄養成長度を算出するステップと、前記区分領域における前記栄養成長度の確からしさを表す信頼度を算出するステップと、前記栄養成長度及び前記信頼度を、前記区分領域に紐づけて出力するステップと、を備える支援方法である。
本発明の一観点に係るプログラムは、コンピュータに、作物を撮影して生成された画像を取得するステップと、前記画像内の区分領域における前記作物の栄養成長の度合いを示す栄養成長度を算出するステップと、前記区分領域における前記栄養成長度の確からしさを表す信頼度を算出するステップと、前記栄養成長度及び前記信頼度を、前記区分領域に紐づけて出力するステップと、を実行させるためのプログラムである。
本発明によれば、簡易に作物全体の成長度合いを把握すると共に、作物の成長度合いをどのくらい正確に把握できているかを把握することが可能な技術を提供することができる。
以下、適用例及び各実施形態について図を参照しながら説明する。以下に示す適用例及び各実施形態は、本願の一態様であり、本願の権利範囲を限定するものではない。
<適用例>
本発明は例えば、図1に示す栽培支援システム(栽培支援装置)1に適用することができる。図1は、栽培支援システム1の構成を示すブロック図である。栽培支援システム1は、農業などの作業場の一例である圃場で作業を行う作業者を支援するシステムである。作業者は、圃場で作物(植物)に対する栽培作業を行う。作物に対する栽培作業の種類として、例えば、摘葉、摘花、摘芽、誘引、葉欠き、芽欠き、摘芯、潅水、追肥、農薬散布、収穫などが挙げられるが、これらに限定されない。
本発明は例えば、図1に示す栽培支援システム(栽培支援装置)1に適用することができる。図1は、栽培支援システム1の構成を示すブロック図である。栽培支援システム1は、農業などの作業場の一例である圃場で作業を行う作業者を支援するシステムである。作業者は、圃場で作物(植物)に対する栽培作業を行う。作物に対する栽培作業の種類として、例えば、摘葉、摘花、摘芽、誘引、葉欠き、芽欠き、摘芯、潅水、追肥、農薬散布、収穫などが挙げられるが、これらに限定されない。
<第1実施形態>
第1実施形態に係る栽培支援システム1について説明する。図1に示すように、栽培支援システム1は、撮影部10、制御部20、表示部30及び記憶部40を備える。撮影部10は、対象物を撮影し、撮影対象物の画像(画像データ)を生成するカメラなどの撮影装置である。撮影部10は、作業者の手持ちカメラであってもよい。撮影部10は、作業者の携帯電話、スマートフォン、タブレット端末などが有するカメラであってもよい。撮影部10は、圃場に設置されたカメラであってもよい。圃場に設置されたカメラは、撮影位置が固定されている定点カメラであってもよいし、撮影位置が変更可能な可動式カメラであってもよい。制御部20は、撮影部10から画像データを取得し、各種の処理を実行する処理装置である。制御部20は、取得部110、領域区分け部120、栄養成長度算出部130、信頼度算出部140及び出力部150を備えるように構成されている。
第1実施形態に係る栽培支援システム1について説明する。図1に示すように、栽培支援システム1は、撮影部10、制御部20、表示部30及び記憶部40を備える。撮影部10は、対象物を撮影し、撮影対象物の画像(画像データ)を生成するカメラなどの撮影装置である。撮影部10は、作業者の手持ちカメラであってもよい。撮影部10は、作業者の携帯電話、スマートフォン、タブレット端末などが有するカメラであってもよい。撮影部10は、圃場に設置されたカメラであってもよい。圃場に設置されたカメラは、撮影位置が固定されている定点カメラであってもよいし、撮影位置が変更可能な可動式カメラであってもよい。制御部20は、撮影部10から画像データを取得し、各種の処理を実行する処理装置である。制御部20は、取得部110、領域区分け部120、栄養成長度算出部130、信頼度算出部140及び出力部150を備えるように構成されている。
制御部20は、CPU(Central Processing Unit)やRAM(Random Access Memory)、ROM(Read Only Memory)などを含み、制御部20の各部の制御や、各種の処理などを行う。表示部30は、各種の画像、データを表示するディスプレイなどの表示装置である。表示部30は、タッチパネルなどの入力装置を有していてもよい。記憶部40は、制御部20で実行されるプログラムや、制御部20において実行される処理で使用される各種データなどを記憶する。例えば、記憶部40は、HDD(Hard Disk Drive)やSSD(Solid State Drive)などの補助記憶装置であってもよい。記憶部40は、着脱可能な記憶媒体によって実現されてもよい。
図1に示す栽培支援システム1の構成要素の全てが必須というわけではなく、適宜、栽培支援システム1の構成要素の追加又は削除がなされてもよい。例えば、栽培支援システム1は、通信の際に利用される通信インターフェース、マウスやタッチパネルなどの入力装置などを有してもよい。また、栽培支援システム1の少なくとも一部の機能が、クラウド上のコンピュータによって実現されてもよい。撮影部10、制御部20、表示部30及び記憶部40が、一体で構成されていてもよいし、それぞれ別体で構成されていてもよい。撮影部10、制御部20、表示部30及び記憶部40のうちの少なくとも二つが一体で構成されていてもよい。
(栽培支援システムの動作例)
図2は、第1実施形態に係る栽培支援システム1の動作の一例を示すフローチャートである。図2のフローチャートに沿って、第1実施形態に係る栽培支援システム1の動作の一例を説明する。ステップS11において、撮影部10は、圃場の所定領域を撮影し、色情報(各ピクセルのRGB値)及び距離情報(各ピクセルの深度値)を含む画像データを生成する。深度値は、例えば、撮影部10と撮影対象物との間の距離を示し、画像の奥行方向の距離情報である。圃場の所定領域は、例えば、圃場で作物が栽培されている領域である。撮影部10として、ステレオカメラ又はRGBDカメラを用いてもよい。図3は、圃場における作物が栽培されている領域(栽培領域)を撮影した画像(撮影画像)の一例を示す図である。図3に示す画像200では、奥行方向の手前側の作物の成長度合いを把握することが可能であるが、奥行方向の奥側に向かうにつれて作物の成長度合いを把握することが容易ではない。
図2は、第1実施形態に係る栽培支援システム1の動作の一例を示すフローチャートである。図2のフローチャートに沿って、第1実施形態に係る栽培支援システム1の動作の一例を説明する。ステップS11において、撮影部10は、圃場の所定領域を撮影し、色情報(各ピクセルのRGB値)及び距離情報(各ピクセルの深度値)を含む画像データを生成する。深度値は、例えば、撮影部10と撮影対象物との間の距離を示し、画像の奥行方向の距離情報である。圃場の所定領域は、例えば、圃場で作物が栽培されている領域である。撮影部10として、ステレオカメラ又はRGBDカメラを用いてもよい。図3は、圃場における作物が栽培されている領域(栽培領域)を撮影した画像(撮影画像)の一例を示す図である。図3に示す画像200では、奥行方向の手前側の作物の成長度合いを把握することが可能であるが、奥行方向の奥側に向かうにつれて作物の成長度合いを把握することが容易ではない。
ステップS12において、取得部110は、撮影部10から画像データを取得する。
ステップS13において、領域区分け部120は、画像データに含まれる色情報に基づいて、撮影画像から所定領域(特定エリア)を抽出する。所定領域は、畝、田んぼ、畑などの手前方向から奥方向へ向かって作物が植わっている領域であるが、これら以外の領域であってもよい。撮影画像から抽出される所定領域は、一定の間隔で並んだ複数の所定領域のうちの一つであってもよいし、ランダムに並んだ複数の所定領域のうちの一つであってもよい。領域区分け部120は、パターンマッチングにより、撮影画像から所定領域を抽出してもよい。領域区分け部120は、撮影画像から複数の所定領域を抽出してもよい。図4A及び図4Bは、栽培領域を撮影した画像から所定領域を抽出する処理の説明図である。図4Aには、栽培領域を撮影した画像200に対して抽出処理を行う前の状態が示されている。図4Bには、栽培領域を撮影した画像200に対して抽出処理を行った後の状態が示されており、画像200から所定領域201が抽出されている。
ステップS13において、領域区分け部120は、画像データに含まれる色情報に基づいて、撮影画像から所定領域(特定エリア)を抽出する。所定領域は、畝、田んぼ、畑などの手前方向から奥方向へ向かって作物が植わっている領域であるが、これら以外の領域であってもよい。撮影画像から抽出される所定領域は、一定の間隔で並んだ複数の所定領域のうちの一つであってもよいし、ランダムに並んだ複数の所定領域のうちの一つであってもよい。領域区分け部120は、パターンマッチングにより、撮影画像から所定領域を抽出してもよい。領域区分け部120は、撮影画像から複数の所定領域を抽出してもよい。図4A及び図4Bは、栽培領域を撮影した画像から所定領域を抽出する処理の説明図である。図4Aには、栽培領域を撮影した画像200に対して抽出処理を行う前の状態が示されている。図4Bには、栽培領域を撮影した画像200に対して抽出処理を行った後の状態が示されており、画像200から所定領域201が抽出されている。
撮影画像を表示部30に表示し、作業者が、入力装置を用いて、表示部30に表示された撮影画像に対して所定領域の境界を入力してもよい。領域区分け部120は、表示部30に表示された撮影画像における所定領域の境界に基づいて、撮影画像から所定領域を抽出してもよい。また、作業者は、撮影画像を紙に印刷し、紙に印刷された撮影画像に対して所定領域の境界を記述した後、紙に印刷された撮影画像をスキャン装置によりスキャンしてもよい。領域区分け部120は、スキャン装置によりスキャンされた撮影画像における所定領域の境界に基づいて、撮影画像から所定領域を抽出してもよい。
ステップS14において、領域区分け部120は、画像データに含まれる距離情報(距離データ)に基づいて、所定領域を複数の区分領域に区分けする。領域区分け部120は、撮影画像内の複数の所定領域のそれぞれを複数の区分領域に区分けしてもよいし、撮影画像内の複数の所定領域のうちの一つを複数の区分領域に区分けしてもよい。例えば、画像データに含まれる各ピクセルの深度値が一定範囲内に含まれているピクセル群を一つの領域(エリア)と定義することにより、領域区分け部120は、所定領域を複数の区分領域に区分してもよい。領域区分け部120は、撮影画像内の一つの所定領域を一つの区分領域と決定してもよい。図5は、所定領域を複数の区分領域に区分けする処理の説明図である。図5では、所定領域201が区分領域201A、201B、201Cに区分けされている。区分領域201Aは、画像データに含まれる各ピクセルの深度値が0以上0.3未満であるピクセル群によって構成された領域である。区分領域201Bは、画像データに含まれる各ピクセルの深度値が0.3以上0.6未満であるピクセル群によって構成された領域である。区分領域201Cは、画像データに含まれる各ピクセルの深度値が0.6以上1.0以下であるピクセル群によって構成された領域である。
撮影画像を表示部30に表示し、作業者が、入力装置を用いて、表示部30に表示された撮影画像における所定領域の幅や長さを入力してもよい。領域区分け部120は、所定領域の幅や長さに基づいて、所定領域を複数の区分領域に区分けしてもよい。圃場にタグやQRコード(登録商標)を配置してもよい。領域区分け部120は、撮影画像内のタグやQRコード(登録商標)を基準として、所定領域の幅や長さを算出し、所定領域の幅や長さに基づいて、所定領域を複数の区分領域に区分けしてもよい。
撮影画像を表示部30に表示し、作業者が、入力装置を用いて、表示部30に表示された撮影画像に対して複数の区分領域の境界を入力してもよい。領域区分け部120は、入力された複数の区分領域の境界に基づいて、所定領域を複数の区分領域に区分してもよい。また、作業者は、撮影画像を紙に印刷し、紙に印刷された撮影画像に対して複数の区分領域の境界を記述した後、紙に印刷された撮影画像をスキャン装置によりスキャンしてもよい。領域区分け部120は、スキャン装置によりスキャンされた撮影画像における複数の区分領域の境界に基づいて、所定領域を複数の区分領域に区分してもよい。また、スキャン装置によりスキャンされた撮影画像について、撮影画像内の所定領域が複数の区分領域に区分けされていてもよい。この場合、ステップS14の処理が省略される。
ステップS15において、栄養成長度算出部130は、画像データに含まれる色情報に基づいて、撮影画像内の作物の栄養成長の度合いを示す栄養成長度を、複数の区分領域ごとに算出する。撮影画像内の一つの所定領域を一つの区分領域と決定した場合、栄養成長度算出部130は、画像データに含まれる色情報に基づいて、一つの区分領域についての栄養成長度を算出してもよい。栄養成長度は、例えば、栽培エリアの総面積と、栽培エリアにおける葉の総面積との割合を示すLAI(Leaf Area Index)を含んでもよい。また、栄養成長度は、LAI以外の他の指標、例えば、特定の場所の茎径、葉や実の大きさなどを含んでもよい。栄養成長度算出部130は、複数の区分領域の各区分領域について、各区分領域の緑色のピクセル数を各区分領域の全ピクセル数で割ることにより、各区分領域のLAIを算出してもよい。図6は、各区分領域のLAIを示す図である。図6では、区分領域201AのLAIは0.5であり、区分領域201BのLAIは0.9であり、区分領域201CのLAIが0.8である。
ステップS16において、信頼度算出部140は、撮影画像内の作物の栄養成長度の確からしさを表す信頼度を、複数の区分領域ごとに算出する。撮影画像内の一つの所定領域を一つの区分領域と決定した場合、信頼度算出部140は、一つの区分領域についての信頼度を算出してもよい。信頼度は、撮影画像から栄養成長を算出した場合の確からしさを表す指標である。例えば、作物がイチゴであり、栄養成長度がLAIを含む場合、栽培領域を上方から撮影したときの信頼度は高く、栽培領域を斜めや横から撮影したときの信頼度は低い。また、栽培領域を遠い距離から撮影した場合、作物の葉っぱが前後で重なり合うことで、信頼度が低くなる。栄養成長度が作物の茎の太さである場合、撮影位置から作物の位置までの距離が近いほど計測誤差が小さく、信頼度が高くなり、撮影位置から作物の位置までの距離が遠いほど計測誤差が大きく、信頼度が低くなる。
信頼度算出部140は、下記の式1に基づいて、信頼度を算出してもよい。
(式1)信頼度=1-(各区分領域のピクセルの深度値の平均値/距離D)
距離Dは、各区分領域の奥行方向の長さであり、例えば、畝の場合、畝の奥行方向の辺の長さである。
(式1)信頼度=1-(各区分領域のピクセルの深度値の平均値/距離D)
距離Dは、各区分領域の奥行方向の長さであり、例えば、畝の場合、畝の奥行方向の辺の長さである。
図7は、LAI及び信頼度の説明図である。図7の左側には、斜め方向から栽培領域を撮影した画像から抽出した所定領域201が示されている。また、図7には、区分領域201A、202B、202Cを真上から視たときのイメージ図が示されている。区分領域201A、202B、202Cを真上から視たときのイメージ図には、区分領域201A、202B、202Cのそれぞれにおける作物の状態が示されている。区分領域201AのLAIは0.5である。区分領域201Aのピクセルの深度値の平均値が0.1であり、距離Dが1.0である場合、区分領域201Aの信頼度は、1-(0.1/1)=0.9である。区分領域201Bのピクセルの深度値の平均値が0.5であり、距離Dが1.0である場合、区分領域201Bの信頼度は、1-(0.5/1)=0.5である。区分領域201Cのピクセルの深度値の平均値が0.9であり、距離Dが1.0である場合、区分領域201Cの信頼度は、1-(0.9/1)=0.1である。
区分領域201AのLAIは0.5であり、区分領域201Aの信頼度は、0.9である。区分領域201Aについては、撮影地点から撮影対象物が近いため、区分領域201Aの信頼度が高い。撮影対象物から近い位置で横方向や斜め方向から栽培領域を撮影した画像には、栽培領域における作物が植えられていない箇所が入り込むため、撮影画像とイメージ図との間の乖離が小さい。区分領域201BのLAIは0.9であり、区分領域201Bの信頼度は、0.5である。区分領域201CのLAIは0.8であり、区分領域201Cの信頼度は、0.1である。区分領域201Cについては、撮影地点から撮影対象物が遠いため、区分領域201Cの信頼度が低い。撮影対象物から遠い位置で横方向や斜め方向から栽培領域を撮影した画像には、栽培領域における作物が植えられていない箇所が入り込まない場合がある。このような場合、撮影画像とイメージ図との間の乖離が大きくなる。このように、信頼度が高いほど、撮影画像とイメージ図との間の乖離が小さく、信頼度が低くなるほど、撮影画像とイメージ図との間の乖離が大きい。したがって、信頼度が高いほど、LAIは、実際の作物の状態を正確に示し、信頼度が低くなるにつれて、LAIは、実際の作物の状態を正確に示していない可能性が高くなる。
信頼度の算出方法は、式1に限定されず、例えば、各区分領域のピクセルの深度値の平均値に、予め設定された係数を掛けて算出した値を、各区分領域の信頼度としてもよい。
ステップS17において、出力部150は、栄養成長度及び信頼度を、複数の区分領域に紐づけて出力する。撮影画像内の一つの所定領域を一つの区分領域と決定した場合、出力部150は、栄養成長度及び信頼度を、一つの区分領域に紐づけて出力してもよい。表示部30は、栄養成長度及び信頼度を、複数の区分領域に紐づけて表示してもよい。撮影画像内の一つの所定領域を一つの区分領域と決定した場合、表示部30は、栄養成長度及び信頼度を、一つの区分領域に紐づけて表示してもよい。表示部30は、複数の区分領域に紐づけられた栄養成長度及び信頼度を撮影画像と共に表示してもよい。例えば、表示部30は、撮影画像を表示し、撮影画像の隣に複数の区分領域に紐づけられた栄養成長度及び信頼度を表示してもよい。例えば、表示部30は、撮影画像を表示し、撮影画像に対して、複数の区分領域に紐づけられた栄養成長度及び信頼度を重畳して表示してもよい。例えば、表示部30は、圃場のマップを表示し、圃場のマップに対して、複数の区分領域に区分された所定領域と、複数の区分領域に紐づけられた栄養成長度及び信頼度とを重畳して表示してもよい。撮影画像内の一つの所定領域を一つの区分領域と決定した場合、表示部30は、一つの区分領域に紐づけられた栄養成長度及び信頼度を撮影画像と共に表示してもよい。表示部30は、栄養成長度を、数字で表示してもよいし、色で表示してもよいし、色の彩度で表示してもよい。表示部30は、信頼度を、数字で表示してもよいし、色で表示してもよいし、色の彩度で表示してもよい。または、表示部30が、圃場のマップを表示する場合、複数の区分領域の境界を示す線の太さを各区分領域で変更することで、信頼度を線の太さで表示してもよい。
出力部150が、栄養成長度及び信頼度を複数の区分領域に紐づけて出力し、表示部30は、栄養成長度及び信頼度を、複数の区分領域に紐づけて表示する。これにより、作業者は、簡易に作物全体の成長度合いを把握することができる。また、作業者は、作物全体の成長度合いをどのくらい正確に把握できているかを把握することが可能となる。例えば、作業者は、撮影画像に基づいて作物に対する作業を行う箇所を決定する際、作物に対する作業を行う箇所を適切に把握することが可能となる。したがって、作業者は、圃場における重点的に介入する又は優先的に作業を行う箇所を適切に把握することができ、圃場における作業効率及び収量が向上する。また、栽培支援システム1によれば、誰でも簡単にデータ収集が可能であり、多くのユーザが利用し、データの蓄積が進むことで、スマート農業の普及に貢献できる。
出力部150は、領域識別IDにより、栄養成長度及び信頼度を複数の区分領域に紐づけて記憶部40に記憶してもよい。領域識別IDは、所定領域及び複数の区分領域を識別するための識別情報である。出力部150は、領域識別IDにより、栄養成長度及び信頼度を所定領域及び複数の区分領域に紐づけて記憶部40に記憶してもよい。出力部150は、領域識別IDにより、栄養成長度及び信頼度を、撮影画像、所定領域及び複数の区分領域に紐づけて記憶部40に記憶してもよい。出力部150は、領域識別IDにより、栄養成長度及び信頼度を、圃場のマップ、所定領域及び複数の区分領域に紐づけて記憶部40に記憶してもよい。
制御部20は、栄養成長度及び信頼度に基づいた評価値を複数の区分領域ごとに算出し、複数の区分領域ごとに算出した評価値を合算した総合評価値(総合点)を複数の所定領域ごとに算出してもよい。制御部20は、評価値算出部の一例である。栄養成長度算出部130、信頼度算出部140又は出力部150が、総合評価値を算出してもよい。出力部150は、総合評価値を複数の所定領域ごとに紐づけて出力してもよい。制御部20は、下記の式2に基づいて、総合評価値を算出してもよい。制御部20は、各区分領域の信頼度に対して特定の係数を掛けてもよい。
(式2)総合評価値=区分領域Aの栄養成長度×区分領域Aの信頼度+区分領域Bの栄養成長度×区分領域Bの信頼度+・・・+区分領域Zの栄養成長度×区分領域Zの信頼度
(式2)総合評価値=区分領域Aの栄養成長度×区分領域Aの信頼度+区分領域Bの栄養成長度×区分領域Bの信頼度+・・・+区分領域Zの栄養成長度×区分領域Zの信頼度
表示部30は、複数の所定領域ごとに紐づけられた総合評価値を表示してもよい。表示部30は、複数の所定領域ごとに紐づけられた総合評価値を撮影画像と共に表示してもよい。例えば、表示部30は、撮影画像を表示し、撮影画像の隣に複数の所定領域ごとに紐づけられた総合評価値を表示してもよい。例えば、表示部30は、撮影画像を表示し、撮影画像に対して、複数の所定領域ごとに紐づけられた総合評価値を重畳して表示してもよい。例えば、表示部30は、圃場のマップを表示し、圃場のマップに対して、複数の所定領域と、複数の所定領域ごとに紐づけられた総合評価値を重畳して表示してもよい。
出力部150が、総合評価値を複数の所定領域ごとに紐づけて出力し、表示部30は、複数の所定領域ごとに紐づけられた総合評価値を表示する。例えば、作物がイチゴである場合、所定領域は畝であり、作物が米である場合、所定領域は田んぼや所定の範囲である。作業者は、複数の所定領域ごとの総合評価値を確認することで、圃場における重点的に介入する又は優先的に作業を行う箇所を適切に把握することができる。例えば、作業者は、栽培領域の次回の撮影の際に、どの栽培領域を重点的に撮影するかどうかの判断材料として、総合評価値を活用することができる。例えば、作業者は、信頼度の低い場所について、信頼度がより高くなる手法により追加撮影を行い、栄養成長度の更新を行うことにより、栄養成長度の測定精度を向上させることができる。信頼度がより高くなる手法としては、次回の撮影時において前回の撮影時の場所よりも近づいて撮影を行うこと、次回の撮影時において前回の撮影時よりも高解像度で撮影を行うことなどが挙げられる。
制御部20は、栄養成長度及び信頼度に基づいた評価値を複数の所定領域に含まれる全部の区分領域について算出し、算出した評価値を合算することにより総合評価値を算出してもよい。これにより、作業者は、圃場全体の総合評価値を確認することが可能となる。栄養成長度算出部130、信頼度算出部140又は出力部150が、総合評価値を算出してもよい。出力部150は、総合評価値を複数の所定領域に紐づけて出力してもよい。制御部20は、各区分領域の信頼度に対して特定の係数を掛けてもよい。
表示部30は、複数の所定領域に紐づけられた総合評価値を表示してもよい。表示部30は、複数の所定領域に紐づけられた総合評価値を撮影画像と共に表示してもよい。例えば、表示部30は、撮影画像を表示し、撮影画像の隣に複数の所定領域に紐づけられた総合評価値を表示してもよい。例えば、表示部30は、撮影画像を表示し、撮影画像に対して、複数の所定領域に紐づけられた総合評価値を重畳して表示してもよい。例えば、表示部30は、圃場のマップを表示し、圃場のマップに対して、複数の所定領域と、複数の所定領域に紐づけられた総合評価値を重畳して表示してもよい。
上記では、撮影部10が、圃場の所定領域を撮影し、色情報及び距離情報を含む画像データを生成する処理例を示したが、この処理例に限定されない。撮影部10は、圃場の所定領域を撮影し、色情報及び位置情報(座標X、座標Y、座標Z)を含む画像データを生成してもよい。すなわち、撮影部10は、色情報及び3次元情報(座標X、座標Y、座標Z)を持つ撮影画像(3次元画像)を生成してもよい。座標X、座標Y、座標Zは、ある地点を原点とする直行座標系における点の位置を示している。座標X、座標Y、座標Zの保存方式は、点群形式又はメッシュ形式である。領域区分け部120は、画像データに含まれる位置情報(位置データ)に基づいて、所定領域を複数の区分領域に区分けしてもよい。例えば、画像データに含まれる各ピクセルの座標X、座標Y、座標Zが一定範囲に含まれるピクセル群を一つの領域と定義することにより、所定領域を複数の区分領域に区分してもよい。また、領域区分け部120は、画像データに含まれる位置情報を距離情報に変換し、変換された距離情報を深度値の代替値として用いてもよい。信頼度算出部140は、画像データに含まれる位置情報に基づいて、信頼度を算出してもよい。例えば、信頼度算出部140は、領域区分け部120によって位置情報から変換された距離情報を深度値の代替値として用い、式1に基づいて、信頼度を算出してもよい。
(栄養成長度)
上記では、栄養成長度算出部130が、画像データに含まれる色情報に基づいて、栄養成長度を算出する処理を示したが、この処理例に限定されない。栄養成長度算出部130が、画像内の作物の長さ、面積、体積及び画像データに含まれる色情報の少なくとも一つに基づいて、栄養成長度を、複数の区分領域ごとに算出してもよい。作物の長さは、例えば、作物のある特定の位置の茎の太さであってもよい。ミニトマトは、ある特定の位置の茎径と、今後成長する葉の大きさとの間に相関がある。また、作物の長さは、例えば、作物のある特定の葉の葉長、葉幅などであってもよい。イチゴは、ある特定の葉の長さや幅と、光合成生産物との間に相関がある。
上記では、栄養成長度算出部130が、画像データに含まれる色情報に基づいて、栄養成長度を算出する処理を示したが、この処理例に限定されない。栄養成長度算出部130が、画像内の作物の長さ、面積、体積及び画像データに含まれる色情報の少なくとも一つに基づいて、栄養成長度を、複数の区分領域ごとに算出してもよい。作物の長さは、例えば、作物のある特定の位置の茎の太さであってもよい。ミニトマトは、ある特定の位置の茎径と、今後成長する葉の大きさとの間に相関がある。また、作物の長さは、例えば、作物のある特定の葉の葉長、葉幅などであってもよい。イチゴは、ある特定の葉の長さや幅と、光合成生産物との間に相関がある。
作物の面積は、例えば、ある領域における葉面積の大きさである。ある領域における葉面積の大きさを、LAIとして表してもよい。葉面積の大きさと光合成生産物との間に相関がある。栄養成長度算出部130は、葉の枯れ度合いを計測してもよい。例えば、栄養成長度算出部130は、複数の区分領域の各区分領域について、各区分領域の黄色及び茶色の少なくとも一方のピクセル数を各区分領域の全ピクセル数で割ることにより、各区分領域の作物の枯れ度合いを算出してもよい。栄養成長度算出部130は、各区分領域の作物の枯れ度合いに応じて、各区分領域のLAIを減少してもよい。また、栄養成長度算出部130は、各区分領域について、LAI及び作物の枯れ度合いを含む栄養成長度を算出してもよい。作物の面積は、例えば、ある一定の空間における株の総体積である。
(信頼度)
上記では、式1に基づいて、信頼度を算出する処理を示したが、この処理に限定されない。信頼度算出部140は、式1に基づいて算出された値を、撮影機器(例えば、撮影部10)と撮影対象物とを結んだ線と水平面や重力方向、地面等との角度(撮影角度)に応じて増減させることで、信頼度を算出してもよい。例えば、イチゴなどの作物は、株の真上から撮影すると、葉の重複が少ないが、株の横や斜めから撮影すると葉の重複が多い。撮影対象物には特定の作物、区分領域内の作物、撮影機器の撮影範囲全体を含む。区分領域の場合の撮影角度は、区分領域の中心や代表箇所に対する角度や区分領域内の全体の点に対する角度の平均値であってもよい。撮影範囲全体の場合の撮影角度は、撮影範囲全体の中心や代表箇所に対する角度や撮影範囲全体のすべての点に対する角度の平均値であってもよいし、単に撮影機器の撮影方向と水平面や重力方向、地面等との角度を用いてもよい。撮影部10が有する加速度センサ又はジャイロセンサが、撮影角度を計測してもよい。取得部110は、撮影画像が撮影された際の撮影角度を撮影部10から取得してもよい。信頼度算出部140は、式1に基づいて算出された値を撮影角度に応じて増減することで、撮影角度に応じた信頼度を算出することができる。撮影角度が所定基準を満たす場合、信頼度算出部140は、式1に基づいて算出された値を増加してもよい。撮影角度が所定基準を満たさない場合、信頼度算出部140は、式1に基づいて算出された値を減少してもよい。
上記では、式1に基づいて、信頼度を算出する処理を示したが、この処理に限定されない。信頼度算出部140は、式1に基づいて算出された値を、撮影機器(例えば、撮影部10)と撮影対象物とを結んだ線と水平面や重力方向、地面等との角度(撮影角度)に応じて増減させることで、信頼度を算出してもよい。例えば、イチゴなどの作物は、株の真上から撮影すると、葉の重複が少ないが、株の横や斜めから撮影すると葉の重複が多い。撮影対象物には特定の作物、区分領域内の作物、撮影機器の撮影範囲全体を含む。区分領域の場合の撮影角度は、区分領域の中心や代表箇所に対する角度や区分領域内の全体の点に対する角度の平均値であってもよい。撮影範囲全体の場合の撮影角度は、撮影範囲全体の中心や代表箇所に対する角度や撮影範囲全体のすべての点に対する角度の平均値であってもよいし、単に撮影機器の撮影方向と水平面や重力方向、地面等との角度を用いてもよい。撮影部10が有する加速度センサ又はジャイロセンサが、撮影角度を計測してもよい。取得部110は、撮影画像が撮影された際の撮影角度を撮影部10から取得してもよい。信頼度算出部140は、式1に基づいて算出された値を撮影角度に応じて増減することで、撮影角度に応じた信頼度を算出することができる。撮影角度が所定基準を満たす場合、信頼度算出部140は、式1に基づいて算出された値を増加してもよい。撮影角度が所定基準を満たさない場合、信頼度算出部140は、式1に基づいて算出された値を減少してもよい。
信頼度算出部140は、式1に基づいて算出された値を、撮影機器(例えば、撮影部10)の画像解像度に応じて増減させることで、信頼度を算出してもよい。取得部110は、撮影部10から画像解像度を取得してもよい。信頼度算出部140は、式1に基づいて算出された値を撮影機器の画像解像度に応じて増減することで、撮影機器の画像解像度に応じた信頼度を算出することができる。
撮影画像が3Dモデル画像である場合、信頼度算出部140は、撮影画像に含まれる点群の密度に基づいて、信頼度を算出してもよい。3Dモデル画像は、撮影対象物を異なる角度で複数回撮影することで、撮影対象物の3次元モデル(3Dモデル)を作成した画像である。3Dモデル画像の作成に利用した画像撮影枚数が多くなるほど、鮮明な3Dモデル画像を作成することが可能である。また、3Dモデル画像の作成におけるスキャン時間が長くなるほど、鮮明な3Dモデル画像を作成することが可能である。撮影画像が3Dモデル画像である場合、信頼度算出部140は、3Dモデル画像の作成に利用した画像撮影枚数及び3Dモデル画像の作成におけるスキャン時間の少なくとも一方に基づいて、信頼度を算出してもよい。
<第2実施形態>
第2実施形態に係る栽培支援システム1について説明する。なお、以下の説明において、第1実施形態と同様の構成や処理などについては同一の符号を付し、詳細な説明は省略する。図8は、栽培支援システム1の構成を示すブロック図である。図8に示すように、栽培支援システム1は、撮影部10、制御部20、表示部30及び記憶部40を備える。制御部20は、取得部110、領域区分け部120、栄養成長度算出部130、信頼度算出部140、出力部150及び更新部160を備えるように構成されている。
第2実施形態に係る栽培支援システム1について説明する。なお、以下の説明において、第1実施形態と同様の構成や処理などについては同一の符号を付し、詳細な説明は省略する。図8は、栽培支援システム1の構成を示すブロック図である。図8に示すように、栽培支援システム1は、撮影部10、制御部20、表示部30及び記憶部40を備える。制御部20は、取得部110、領域区分け部120、栄養成長度算出部130、信頼度算出部140、出力部150及び更新部160を備えるように構成されている。
領域識別IDにより、栄養成長度及び信頼度が、所定領域及び複数の区分領域に紐づけて、記憶部40に記憶されていてもよい。領域識別IDにより、栄養成長度及び信頼度が、所定領域及び複数の区分領域に紐づけて、記憶部40に記憶されていてもよい。領域識別IDにより、栄養成長度及び信頼度が、撮影画像、所定領域及び複数の区分領域に紐づけて、記憶部40に記憶されていてもよい。領域識別IDにより、栄養成長度及び信頼度が、圃場のマップ、所定領域及び複数の区分領域に紐づけて、記憶部40に記憶されていてもよい。
(栽培支援システムの動作例)
図9は、第2実施形態に係る栽培支援システム1の動作の一例を示すフローチャートである。図9のフローチャートに沿って、第2実施形態に係る栽培支援システム1の動作の一例を説明する。ステップS21~S26は、図2のフローチャートのS11~S16と同様であるので、その説明を省略する。ステップS27において、更新部160は、栄養成長度及び信頼度を取得して、更新処理を行う。
図9は、第2実施形態に係る栽培支援システム1の動作の一例を示すフローチャートである。図9のフローチャートに沿って、第2実施形態に係る栽培支援システム1の動作の一例を説明する。ステップS21~S26は、図2のフローチャートのS11~S16と同様であるので、その説明を省略する。ステップS27において、更新部160は、栄養成長度及び信頼度を取得して、更新処理を行う。
図10は、更新処理の一例を示すフローチャートである。図10のフローチャートに沿って、更新処理の一例を説明する。ステップS31において、更新部160は、今回の撮影時の撮影画像における所定領域と、記憶部40に記憶されている所定領域とが同一であるか否かを判定する。今回の撮影時の撮影画像における所定領域と、記憶部40に記憶されている所定領域とが同一である場合(ステップS31;YES)、ステップS32の処理に進む。今回の撮影時の撮影画像における所定領域と、記憶部40に記憶されている所定領域とが同一でない場合(ステップS31;NO)、ステップS28の処理に進む。
作業者は、栽培領域の撮影時又は撮影後に、入力装置を用いて所定領域を特定する情報(領域特定情報)を入力してもよい。圃場にタグやQRコード(登録商標)を配置してもよい。更新部160は、所定領域を自動認識してもよい。例えば、圃場にタグやQRコード(登録商標)を配置し、更新部160は、撮影画像内のタグやQRコード(登録商標)を基準として、所定領域の幅や長さを算出してもよい。更新部160は、所定領域の幅や長さに基づいて、所定領域を特定し、領域特定情報を出力してもよい。更新部160は、撮影画像内の周辺情報(例えば、温室ハウスの特徴)をパターンマッチングすることにより、所定領域を特定し、領域特定情報を出力してもよい。領域特定情報は、記憶部40に記憶される。更新部160は、今回の撮影時における領域特定情報と、記憶部40に記憶されている領域特定情報とに基づいて、今回の撮影時の撮影画像における所定領域と、記憶部40に記憶されている所定領域とが同一であるか否かを判定してもよい。
ステップS32において、更新部160は、今回の撮影時の撮影画像における複数の区分領域と、記憶部40に記憶された複数の区分領域と、の間で重複する区分領域(重複領域)が有るか否かを判定する。重複する区分領域が有る場合(ステップS32;YES)、ステップS33の処理に進む。重複する区分領域が無い場合(ステップS32;NO)、ステップS28の処理に進む。
ステップS33において、更新部160は、重複する区分領域について、今回の撮影時の撮影画像における区分領域の信頼度が所定基準を満たすか否かを判定する。重複する区分領域について、今回の撮影時の撮影画像における区分領域の信頼度が記憶部40に記憶されている区分領域の信頼度よりも高い場合、更新部160は、今回の撮影時の撮影画像における区分領域の信頼度が所定基準を満たすと判定する。一方、重複する区分領域について、今回の撮影時の撮影画像における区分領域の信頼度が記憶部40に記憶されている区分領域の信頼度よりも低い場合、更新部160は、今回の撮影時の撮影画像における区分領域の信頼度が所定基準を満たさないと判定する。重複する区分領域について、今回の撮影時の撮影画像における区分領域の信頼度が所定基準を満たす場合(ステップS33;YES)、ステップS34の処理に進む。重複する区分領域について、今回の撮影時の撮影画像における区分領域の信頼度が所定基準を満たさない場合(ステップS33;NO)、ステップS28の処理に進む。
ステップS34において、更新部160は、重複する区分領域について、今回の撮影時の撮影画像における区分領域の栄養成長度及び信頼度に基づいて、記憶部40に記憶されている区分領域の栄養成長度及び信頼度を更新する。ステップS34の処理が行われた後、ステップS28の処理に進む。記憶部40に記憶されている区分領域の栄養成長度及び信頼度を更新することにより、記憶部40に記憶されている区分領域の栄養成長度及び信頼度が最新値となる。これにより、作業者は、圃場における重点的に介入する又は優先的に作業を行う箇所をより適切に把握することができる。
ステップS28において、出力部150は、栄養成長度及び信頼度を、複数の区分領域に紐づけて出力する。ステップS28は、図2のフローチャートのS17と同様であるので、具体的な説明を省略する。
更新部160は、記憶部40に記憶されている区分領域の信頼度について、記憶部40に記憶された時刻からの経過時間が所定時間を超える場合、記憶部40に記憶されている区分領域の信頼度を下げる処理を行ってもよい。時間が経過すると、成長などにより作物の長さ、面積及び体積が変化する。更新部160は、記憶部40に記憶されている区分領域の信頼度について、記憶部40に記憶された時刻からの経過時間が長くなるほど、記憶部40に記憶されている区分領域の信頼度の下げ幅を大きくしてもよい。これにより、作業者は、圃場における重点的に介入する又は優先的に作業を行う箇所をより適切に把握することができる。
本発明は、上記説明した各構成、各手段、各機能の少なくとも一部を有する栽培支援装置、情報処理装置又は情報処理システムとして捉えてもよい。本発明は、上記説明した各処理の少なくとも一部を含む栽培支援方法又は情報処理方法として捉えてもよい。本発明は、コンピュータが上記で説明した各処理を実行する方法として捉えてもよい。本発明は、コンピュータに上記で説明した各処理を実行させるためのプログラムとして捉えてもよく、プログラムを、ネットワークを通じて、又は、非一時的にデータを保持するコンピュータ読取可能な記録媒体等からコンピュータに提供してもよい。
<コンピュータが読み取り可能な記録媒体>
情報処理装置その他の機械、装置(以下、コンピュータ等)に上記何れかの機能を実現させるプログラムをコンピュータ等が読み取り可能な記録媒体に記録することができる。そして、コンピュータ等に、この記録媒体のプログラムを読み込ませて実行させることにより、その機能を提供させることができる。コンピュータ等が読み取り可能な記録媒体とは、データやプログラム等の情報を電気的、磁気的、光学的、機械的、または化学的作用によって蓄積し、コンピュータ等から読み取ることができる記録媒体をいう。
情報処理装置その他の機械、装置(以下、コンピュータ等)に上記何れかの機能を実現させるプログラムをコンピュータ等が読み取り可能な記録媒体に記録することができる。そして、コンピュータ等に、この記録媒体のプログラムを読み込ませて実行させることにより、その機能を提供させることができる。コンピュータ等が読み取り可能な記録媒体とは、データやプログラム等の情報を電気的、磁気的、光学的、機械的、または化学的作用によって蓄積し、コンピュータ等から読み取ることができる記録媒体をいう。
<付記1>
作物を撮影して生成された画像を取得する取得部(110)と、
前記画像内の区分領域における前記作物の栄養成長の度合いを示す栄養成長度を算出する成長度算出部(130)と、
前記区分領域における前記栄養成長度の確からしさを表す信頼度を算出する信頼度算出部(140)と、
前記栄養成長度及び前記信頼度を、前記区分領域に紐づけて出力する出力部(150)と、
を備える支援装置(1)。
<付記2>
前記画像内の所定領域を、複数の前記区分領域に区分けする領域区分け部(120)を備え、
前記成長度算出部(130)は、前記栄養成長度を複数の前記区分領域ごとに算出し、
前記信頼度算出部(140)は、前記信頼度を複数の前記区分領域ごとに算出し、
前記出力部(150)は、前記栄養成長度及び前記信頼度を、複数の前記区分領域に紐づけて出力する、
付記1に記載の支援装置(1)。
<付記3>
前記成長度算出部(130)は、前記画像内の前記作物の長さ、面積、体積及び前記画像の色情報の少なくとも一つに基づいて、前記栄養成長度を算出する、
付記1に記載の支援装置(1)。
<付記4>
前記信頼度算出部(140)は、前記画像の奥行方向の距離情報に基づいて、前記信頼度を算出する、
付記1から3の何れか一つに記載の支援装置(1)。
<付記5>
前記信頼度算出部(140)は、3次元情報を持つ前記画像の位置情報に基づいて、前記信頼度を算出する、
付記1から3の何れか一つに記載の支援装置(1)。
<付記6>
前記取得部は、前記画像が撮影された際の撮影角度を取得し、
前記信頼度算出部は、前記撮影角度に応じた前記信頼度を算出する、
付記1から5の何れか一つに記載の支援装置(1)。
<付記7>
前記区分領域に紐づけられた前記栄養成長度及び前記信頼度を、前記画像と共に表示する表示部(30)を備える、
付記1から6の何れか一つに記載の支援装置(1)。
<付記8>
前記画像内の複数の所定領域が、複数の前記区分領域に区分けされており、
前記栄養成長度及び前記信頼度に基づいた評価値を複数の前記区分領域ごとに算出し、複数の前記区分領域ごとに算出した前記評価値を合算した総合評価値を複数の前記所定領域ごとに算出する評価値算出部(20)を備え、
前記出力部(150)は、前記総合評価値を、複数の前記所定領域ごとに紐づけて出力する、
付記1から7の何れか一つに記載の支援装置(1)。
<付記9>
前記画像内の複数の所定領域が、複数の前記区分領域に区分けされており、
前記栄養成長度及び前記信頼度に基づいた評価値を複数の前記所定領域に含まれる全部の前記区分領域について算出し、算出した前記評価値を合算することにより総合評価値を算出する評価値算出部(20)を備え、
前記出力部(150)は、前記総合評価値を、複数の前記所定領域に紐づけて出力する、
付記1から7の何れか一つに記載の支援装置。
<付記10>
前記栄養成長度及び前記信頼度を、複数の前記区分領域に紐づけて記憶する記憶部(40)と、
前記作物が撮影されたときの前記画像における複数の前記区分領域と、前記記憶部(40)に記憶されている複数の前記区分領域と、の間で重複する前記区分領域について、前記作物が撮影されたときの前記画像における前記区分領域の前記信頼度が所定基準を満たす場合、前記作物が撮影されたときの前記画像における前記区分領域の前記栄養成長度及び前記信頼度に基づいて、前記記憶部(40)に記憶されている前記区分領域の前記栄養成長度及び前記信頼度を更新する更新部(160)と、
を備える付記1から9の何れか一つに記載の支援装置(1)。
<付記11>
作物を撮影して生成された画像を取得するステップ(S12、S22)と、
前記画像内の区分領域における前記作物の栄養成長の度合いを示す栄養成長度を算出するステップ(S15、S25)と、
前記区分領域における前記栄養成長度の確からしさを表す信頼度を算出するステップ(S16、S26)と、
前記栄養成長度及び前記信頼度を、前記区分領域に紐づけて出力するステップ(S17、S28)と、
を備える支援方法。
<付記12>
コンピュータに、
作物を撮影して生成された画像を取得するステップ(S12、S22)と、
前記画像内の区分領域における前記作物の栄養成長の度合いを示す栄養成長度を算出するステップ(S15、S25)と、
複数の前記領域における前記栄養成長度の確からしさを表す信頼度を算出するステップ(S16、S26)と、
前記栄養成長度及び前記信頼度を、前記区分領域に紐づけて出力するステップ(S17、S28)と、
を実行させるためのプログラム。
作物を撮影して生成された画像を取得する取得部(110)と、
前記画像内の区分領域における前記作物の栄養成長の度合いを示す栄養成長度を算出する成長度算出部(130)と、
前記区分領域における前記栄養成長度の確からしさを表す信頼度を算出する信頼度算出部(140)と、
前記栄養成長度及び前記信頼度を、前記区分領域に紐づけて出力する出力部(150)と、
を備える支援装置(1)。
<付記2>
前記画像内の所定領域を、複数の前記区分領域に区分けする領域区分け部(120)を備え、
前記成長度算出部(130)は、前記栄養成長度を複数の前記区分領域ごとに算出し、
前記信頼度算出部(140)は、前記信頼度を複数の前記区分領域ごとに算出し、
前記出力部(150)は、前記栄養成長度及び前記信頼度を、複数の前記区分領域に紐づけて出力する、
付記1に記載の支援装置(1)。
<付記3>
前記成長度算出部(130)は、前記画像内の前記作物の長さ、面積、体積及び前記画像の色情報の少なくとも一つに基づいて、前記栄養成長度を算出する、
付記1に記載の支援装置(1)。
<付記4>
前記信頼度算出部(140)は、前記画像の奥行方向の距離情報に基づいて、前記信頼度を算出する、
付記1から3の何れか一つに記載の支援装置(1)。
<付記5>
前記信頼度算出部(140)は、3次元情報を持つ前記画像の位置情報に基づいて、前記信頼度を算出する、
付記1から3の何れか一つに記載の支援装置(1)。
<付記6>
前記取得部は、前記画像が撮影された際の撮影角度を取得し、
前記信頼度算出部は、前記撮影角度に応じた前記信頼度を算出する、
付記1から5の何れか一つに記載の支援装置(1)。
<付記7>
前記区分領域に紐づけられた前記栄養成長度及び前記信頼度を、前記画像と共に表示する表示部(30)を備える、
付記1から6の何れか一つに記載の支援装置(1)。
<付記8>
前記画像内の複数の所定領域が、複数の前記区分領域に区分けされており、
前記栄養成長度及び前記信頼度に基づいた評価値を複数の前記区分領域ごとに算出し、複数の前記区分領域ごとに算出した前記評価値を合算した総合評価値を複数の前記所定領域ごとに算出する評価値算出部(20)を備え、
前記出力部(150)は、前記総合評価値を、複数の前記所定領域ごとに紐づけて出力する、
付記1から7の何れか一つに記載の支援装置(1)。
<付記9>
前記画像内の複数の所定領域が、複数の前記区分領域に区分けされており、
前記栄養成長度及び前記信頼度に基づいた評価値を複数の前記所定領域に含まれる全部の前記区分領域について算出し、算出した前記評価値を合算することにより総合評価値を算出する評価値算出部(20)を備え、
前記出力部(150)は、前記総合評価値を、複数の前記所定領域に紐づけて出力する、
付記1から7の何れか一つに記載の支援装置。
<付記10>
前記栄養成長度及び前記信頼度を、複数の前記区分領域に紐づけて記憶する記憶部(40)と、
前記作物が撮影されたときの前記画像における複数の前記区分領域と、前記記憶部(40)に記憶されている複数の前記区分領域と、の間で重複する前記区分領域について、前記作物が撮影されたときの前記画像における前記区分領域の前記信頼度が所定基準を満たす場合、前記作物が撮影されたときの前記画像における前記区分領域の前記栄養成長度及び前記信頼度に基づいて、前記記憶部(40)に記憶されている前記区分領域の前記栄養成長度及び前記信頼度を更新する更新部(160)と、
を備える付記1から9の何れか一つに記載の支援装置(1)。
<付記11>
作物を撮影して生成された画像を取得するステップ(S12、S22)と、
前記画像内の区分領域における前記作物の栄養成長の度合いを示す栄養成長度を算出するステップ(S15、S25)と、
前記区分領域における前記栄養成長度の確からしさを表す信頼度を算出するステップ(S16、S26)と、
前記栄養成長度及び前記信頼度を、前記区分領域に紐づけて出力するステップ(S17、S28)と、
を備える支援方法。
<付記12>
コンピュータに、
作物を撮影して生成された画像を取得するステップ(S12、S22)と、
前記画像内の区分領域における前記作物の栄養成長の度合いを示す栄養成長度を算出するステップ(S15、S25)と、
複数の前記領域における前記栄養成長度の確からしさを表す信頼度を算出するステップ(S16、S26)と、
前記栄養成長度及び前記信頼度を、前記区分領域に紐づけて出力するステップ(S17、S28)と、
を実行させるためのプログラム。
1 栽培支援システム
10 撮影部
20 制御部
30 表示部
40 記憶部
110 取得部
120 領域区分け部
130 栄養成長度算出部
140 信頼度算出部
150 出力部
160 更新部
10 撮影部
20 制御部
30 表示部
40 記憶部
110 取得部
120 領域区分け部
130 栄養成長度算出部
140 信頼度算出部
150 出力部
160 更新部
Claims (12)
- 作物を撮影して生成された画像を取得する取得部と、
前記画像内の区分領域における前記作物の栄養成長の度合いを示す栄養成長度を算出する成長度算出部と、
前記区分領域における前記栄養成長度の確からしさを表す信頼度を算出する信頼度算出部と、
前記栄養成長度及び前記信頼度を、前記区分領域に紐づけて出力する出力部と、
を備える支援装置。 - 前記画像内の所定領域を、複数の前記区分領域に区分けする領域区分け部を備え、
前記成長度算出部は、前記栄養成長度を複数の前記区分領域ごとに算出し、
前記信頼度算出部は、前記信頼度を複数の前記区分領域ごとに算出し、
前記出力部は、前記栄養成長度及び前記信頼度を、複数の前記区分領域に紐づけて出力する、
請求項1に記載の支援装置。 - 前記成長度算出部は、前記画像内の前記作物の長さ、面積、体積及び前記画像の色情報の少なくとも一つに基づいて、前記栄養成長度を算出する、
請求項1に記載の支援装置。 - 前記信頼度算出部は、前記画像の奥行方向の距離情報に基づいて、前記信頼度を算出する、
請求項1に記載の支援装置。 - 前記信頼度算出部は、3次元情報を持つ前記画像の位置情報に基づいて、前記信頼度を算出する、
請求項1に記載の支援装置。 - 前記取得部は、前記画像が撮影された際の撮影角度を取得し、
前記信頼度算出部は、前記撮影角度に応じた前記信頼度を算出する、
請求項1に記載の支援装置。 - 前記区分領域に紐づけられた前記栄養成長度及び前記信頼度を、前記画像と共に表示する表示部を備える、
請求項1に記載の支援装置。 - 前記画像内の複数の所定領域が、複数の前記区分領域に区分けされており、
前記栄養成長度及び前記信頼度に基づいた評価値を複数の前記区分領域ごとに算出し、複数の前記区分領域ごとに算出した前記評価値を合算した総合評価値を複数の前記所定領域ごとに算出する評価値算出部を備え、
前記出力部は、前記総合評価値を、複数の前記所定領域ごとに紐づけて出力する、
請求項1に記載の支援装置。 - 前記画像内の複数の所定領域が、複数の前記区分領域に区分けされており、
前記栄養成長度及び前記信頼度に基づいた評価値を複数の前記所定領域に含まれる全部の前記区分領域について算出し、算出した前記評価値を合算することにより総合評価値を算出する評価値算出部を備え、
前記出力部は、前記総合評価値を、複数の前記所定領域に紐づけて出力する、
請求項1に記載の支援装置。 - 前記栄養成長度及び前記信頼度を、複数の前記区分領域に紐づけて記憶する記憶部と、
前記作物が撮影されたときの前記画像における複数の前記区分領域と、前記記憶部に記憶されている複数の前記区分領域と、の間で重複する前記区分領域について、前記作物が撮影されたときの前記画像における前記区分領域の前記信頼度が所定基準を満たす場合、前記作物が撮影されたときの前記画像における前記区分領域の前記栄養成長度及び前記信頼度に基づいて、前記記憶部に記憶されている前記区分領域の前記栄養成長度及び前記信頼度を更新する更新部と、
を備える請求項1から9の何れか一項に記載の支援装置。 - 作物を撮影して生成された画像を取得するステップと、
前記画像内の区分領域における前記作物の栄養成長の度合いを示す栄養成長度を算出するステップと、
前記区分領域における前記栄養成長度の確からしさを表す信頼度を算出するステップと、
前記栄養成長度及び前記信頼度を、前記区分領域に紐づけて出力するステップと、
を備える支援方法。 - コンピュータに、
作物を撮影して生成された画像を取得するステップと、
前記画像内の区分領域における前記作物の栄養成長の度合いを示す栄養成長度を算出するステップと、
前記区分領域における前記栄養成長度の確からしさを表す信頼度を算出するステップと、
前記栄養成長度及び前記信頼度を、前記区分領域に紐づけて出力するステップと、
を実行させるためのプログラム。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2023-149772 | 2023-09-15 | ||
| JP2023149772A JP2025042690A (ja) | 2023-09-15 | 2023-09-15 | 支援装置、支援方法及びプログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2025057744A1 true WO2025057744A1 (ja) | 2025-03-20 |
Family
ID=95022201
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2024/030823 Ceased WO2025057744A1 (ja) | 2023-09-15 | 2024-08-28 | 支援装置、支援方法及びプログラム |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP2025042690A (ja) |
| WO (1) | WO2025057744A1 (ja) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6489604B2 (ja) * | 2014-09-04 | 2019-03-27 | 国立研究開発法人農業・食品産業技術総合研究機構 | 植物群落構造解析システム |
| US10452947B1 (en) * | 2018-06-08 | 2019-10-22 | Microsoft Technology Licensing, Llc | Object recognition using depth and multi-spectral camera |
| JP2020087355A (ja) * | 2018-11-30 | 2020-06-04 | 株式会社ポコアポコネットワークス | 検出装置、検出方法、コンピュータプログラム及び学習モデル |
| JP2021013323A (ja) * | 2019-07-11 | 2021-02-12 | オムロン株式会社 | 情報処理装置及び指標値算出方法 |
| JP2022070684A (ja) * | 2020-10-27 | 2022-05-13 | キヤノン株式会社 | 撮像装置およびその制御方法、プログラム |
| JP2023057569A (ja) * | 2021-10-12 | 2023-04-24 | ヤンマーホールディングス株式会社 | 情報処理装置および作業支援システム |
-
2023
- 2023-09-15 JP JP2023149772A patent/JP2025042690A/ja active Pending
-
2024
- 2024-08-28 WO PCT/JP2024/030823 patent/WO2025057744A1/ja not_active Ceased
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6489604B2 (ja) * | 2014-09-04 | 2019-03-27 | 国立研究開発法人農業・食品産業技術総合研究機構 | 植物群落構造解析システム |
| US10452947B1 (en) * | 2018-06-08 | 2019-10-22 | Microsoft Technology Licensing, Llc | Object recognition using depth and multi-spectral camera |
| JP2020087355A (ja) * | 2018-11-30 | 2020-06-04 | 株式会社ポコアポコネットワークス | 検出装置、検出方法、コンピュータプログラム及び学習モデル |
| JP2021013323A (ja) * | 2019-07-11 | 2021-02-12 | オムロン株式会社 | 情報処理装置及び指標値算出方法 |
| JP2022070684A (ja) * | 2020-10-27 | 2022-05-13 | キヤノン株式会社 | 撮像装置およびその制御方法、プログラム |
| JP2023057569A (ja) * | 2021-10-12 | 2023-04-24 | ヤンマーホールディングス株式会社 | 情報処理装置および作業支援システム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2025042690A (ja) | 2025-03-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US12307343B2 (en) | Information processing apparatus, information processing method, and storage medium | |
| AU2017414991B2 (en) | Agricultural work apparatus, agricultural work management system, and program | |
| KR101974638B1 (ko) | 식물 영상 처리 장치 및 방법 | |
| JP2019037225A (ja) | 植物の生育状況監視装置及び植物の生育状況監視方法 | |
| EP3642792A1 (en) | Data processing of images of a crop | |
| JP2007310463A (ja) | 圃場管理支援方法及びシステム | |
| KR101846301B1 (ko) | 자동제어 장비를 이용한 작물 수확 및 관리 시스템 | |
| JP2020149201A (ja) | 作物の倒伏リスク診断に用いる生育パラメータの測定推奨スポット提示方法、倒伏リスク診断方法、および情報提供装置 | |
| CN113011220A (zh) | 穗数识别方法、装置、存储介质及处理器 | |
| US12182997B2 (en) | Information processing device and index value calculation method | |
| KR20220026340A (ko) | 작물 영상 기반 작물 생육 계측 시스템, 및 방법 | |
| JP2025042690A (ja) | 支援装置、支援方法及びプログラム | |
| KR102398294B1 (ko) | 싱크 용량 및 소스 용량 판단 시스템 및 방법 | |
| KR20230157141A (ko) | 지상 이동형 객체 모니터링 장치 | |
| CN112733582B (zh) | 农作物产量的确定方法及装置、非易失性存储介质 | |
| CN112700346A (zh) | 农作物高度的确定方法、装置、存储介质和设备 | |
| CN117115692B (zh) | 植株状态诊断的方法、装置以及系统 | |
| KR20220022961A (ko) | 개선된 작물생육 분석시스템 | |
| CN114651283A (zh) | 搜寻功能出苗 | |
| CN112926359B (zh) | 农作物的识别方法及装置、作业设备的控制方法 | |
| JP6768767B2 (ja) | 作物生育判定システムのサーバ装置、作物生育判定装置、作物生育学習装置、作物生育判定方法及びプログラム | |
| CN119919795B (zh) | 宜机化甘蓝穴盘幼苗叶片直立度与最大叶展识别方法 | |
| CN112767301A (zh) | 作物苗数的确定方法及装置、测量系统 | |
| JP2024151763A (ja) | 決定装置、決定方法およびプログラム | |
| CN120813247A (zh) | 处理装置、处理方法以及程序 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 24865246 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |