WO2023176201A1 - 穂数予測装置 - Google Patents

穂数予測装置 Download PDF

Info

Publication number
WO2023176201A1
WO2023176201A1 PCT/JP2023/004066 JP2023004066W WO2023176201A1 WO 2023176201 A1 WO2023176201 A1 WO 2023176201A1 JP 2023004066 W JP2023004066 W JP 2023004066W WO 2023176201 A1 WO2023176201 A1 WO 2023176201A1
Authority
WO
WIPO (PCT)
Prior art keywords
grain
image
ears
unit
wheat
Prior art date
Application number
PCT/JP2023/004066
Other languages
English (en)
French (fr)
Inventor
涼介 水野
卓也 北出
Original Assignee
株式会社Ｎｔｔドコモ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Ｎｔｔドコモ filed Critical 株式会社Ｎｔｔドコモ
Publication of WO2023176201A1 publication Critical patent/WO2023176201A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01G—HORTICULTURE; CULTIVATION OF VEGETABLES, FLOWERS, RICE, FRUIT, VINES, HOPS OR SEAWEED; FORESTRY; WATERING
    • A01G7/00—Botany in general
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06M—COUNTING MECHANISMS; COUNTING OF OBJECTS NOT OTHERWISE PROVIDED FOR
    • G06M11/00—Counting of objects distributed at random, e.g. on a surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/02—Agriculture; Fishing; Forestry; Mining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes

Definitions

  • the present disclosure relates to an ear number prediction device that predicts the number of ears of grain.
  • “grain” refers to agricultural crops whose seeds are regularly eaten by humans, and includes, for example, wheat, rice, millet, and millet.
  • “Ear of grain” means a group of flowers and fruits clustered at the tip of a grain stalk.When counting the number of ears of grain, a group of flowers and fruits that appear at the tip of a grain stalk is used. Count as one.
  • the artificial intelligence When image data is input to an artificial intelligence, the artificial intelligence generally divides the image into predetermined units (for example, 200 pixels x 200 pixels) (performs so-called resizing processing) to make it easier to process it. be.
  • predetermined units for example, 200 pixels x 200 pixels
  • resizing processing For example, resizing processing
  • the pixel ratio of the object (for example, wheat ears) to the total number of pixels is too small, there is a problem that the characteristics of the object will become unclear or disappear in the image due to the effect of the above-mentioned resizing process. there were.
  • Patent Document 1 describes an example in which a region near the object is extracted from a plurality of divided images obtained by dividing the entire image in processing for image recognition of a small object.
  • this technology simply demonstrates image recognition from more finely divided images, and does not show how to use images that are appropriately divided according to the size of the target object. There was room for improvement in improving object detection accuracy.
  • the present disclosure has been made to solve the above problems, and aims to accurately detect a target object and accurately predict the number of panicles in the panicle number prediction process.
  • the panicle number prediction device is a panicle number prediction device that predicts the number of grain ears, and divides into grids a region image that captures a region including a two-dimensional unit region set in a grain cultivation field.
  • a corner detection unit that detects a corner of the two-dimensional unit area in the obtained first divided image using image recognition technology; and a position of the two-dimensional unit area based on the position of the corner detected by the detection unit.
  • an exclusion unit that acquires image data of an area outside the two-dimensional unit area from image data of the first divided image based on the position of the two-dimensional unit area; and image data after exclusion by the exclusion unit.
  • a target object detection unit that divides an image based on the target object into a grid with a division size corresponding to the size of the grain ear, and detects the grain ear from the obtained second divided image; The number of ears of the grain detected by the detection unit is counted, and the relative size relationship between a predetermined target range in the grain cultivation field and the two-dimensional unit area, and the number obtained by the count are determined.
  • a prediction unit that predicts the number of ears of the grain in the target range based on the ear number count value.
  • the corner detection unit divides a region image that captures a region including a two-dimensional unit region set in a grain cultivation field into grids, and calculates the two-dimensional unit region in the obtained first divided image.
  • the exclusion unit obtains the position of the two-dimensional unit area based on the position of the detected corner, and the first divided image based on the position of the two-dimensional unit area. Exclude image data of an area outside the two-dimensional unit area from the image data of .
  • the target object detection unit divides the image based on the excluded image data into a grid with a division size corresponding to the size of the target object (grain ear), and extracts the grain ear from the obtained second divided image. To detect.
  • the prediction unit counts the number of detected grain ears, and calculates the relative size relationship between the predetermined target range and the two-dimensional unit area in the grain cultivation field, and the number of ears obtained by counting.
  • the number of grain ears in the target range is predicted based on the ear number count value.
  • the image data of the outer region of the two-dimensional unit region is excluded from the image data of the first divided image, and then the image based on the excluded image data is
  • the grid is divided into grids with division sizes depending on the size of the object (ear of grain).
  • "grid division with a division size that corresponds to the size of the target object (ears of wheat)” means to avoid situations where the characteristics of the target object become unclear or disappear, and to divide the pixels occupied by the target object.
  • Grid division is performed to obtain a "second divided image” in which the ratio of Alternatively, grid division is performed using a division size according to the size of the target object (grain ear) obtained through experiments or the like.
  • the object detection section detects the object from the second divided image obtained by the grid division as described above, and the prediction section counts the number of detected objects (the number of ears of grain), and the prediction section counts the number of detected objects (number of ears of grain).
  • the number of ears of grain in the target range is predicted based on the relative size relationship between the target range and the two-dimensional unit area in the cultivation field and the number of ears count value. Therefore, the accuracy of detecting the target object (ears of grain) in the second divided image can be improved, and the number of ears of grain in the target range can be predicted with high accuracy.
  • the present disclosure it is possible to improve the detection accuracy of the target object (grain ear) in the second divided image and predict the number of grain ears in the target range with high accuracy.
  • FIG. 1 is a functional block configuration diagram of an ear number prediction device and related equipment in an embodiment of the invention. It is a flowchart which shows the process concerning panicle number prediction.
  • FIG. 3 is a diagram for explaining processing up to wheat ear detection.
  • (a) is a diagram for explaining a case where a rectangular area set in a wheat cultivation field, the direction of each side of which is determined in advance and specified from the coordinates of both ends of the diagonal line is used as a two-dimensional unit area;
  • (b) is identified by arranging a plurality of rectangles with known vertical and horizontal lengths along two predetermined axes directions, as a two-dimensional unit area, based on the coordinates of a single point set in the grain cultivation field.
  • FIG. 1 is a functional block configuration diagram of an ear number prediction device and related equipment in an embodiment of the invention. It is a flowchart which shows the process concerning panicle number prediction.
  • FIG. 3 is a diagram for explaining processing up to wheat ear detection.
  • FIG. 3 is a diagram for explaining an example of generating and applying it to the detection results of artificial intelligence. It is a figure showing the correlation between the true value (real number) of the number of ears of wheat obtained by counting in a wheat cultivation field and the corresponding ridge width of the wheat cultivation field. It is a diagram showing an example of the hardware configuration of a panicle number prediction device.
  • the panicle number prediction device 10 according to the embodiment shown in FIG. 20 is acquired, and the number of ears of grain (here, the number of ears of wheat) in the target range (for example, the entire wheat cultivation field 30) is predicted from the image data.
  • the number of ears prediction device 10 includes a corner detection section 11, an exclusion section 12, a target object detection section 13, and a prediction section 14 as functional blocks for realizing the functions according to the present disclosure.
  • the functions of each part are outlined below.
  • the corner detection unit 11 acquires image data of an area image captured by the camera 20 of an area including the rectangular frame F installed in the wheat cultivation field 30, and performs image processing on the acquired image data to determine the area image.
  • This is a functional unit that performs grid division and detects the corner of frame F in the obtained first divided image using existing image recognition technology.
  • By detecting the corners of the frame F here, position coordinate information of each of the four corners of the frame F in the two-dimensional coordinate system set in the image data of the area image is obtained.
  • an example is shown in which an actual rectangular frame F is used instead of a virtual frame as a two-dimensional unit area set in a cultivation field, but for other variations, see FIGS. It will be described later using
  • the exclusion unit 12 determines the wheat cultivation field 30 from the position of the corner detected by the corner detection unit 11 (that is, the position coordinates of each of the four corners of the frame F in the two-dimensional coordinate system set in the image data of the area image). This is a functional unit that acquires the position of the frame F in the first divided image and excludes image data in an area outside the frame F from the image data of the first divided image.
  • the target object detection unit 13 divides the image based on the image data excluded by the exclusion unit 12 into grids with a division size according to the size of the target object (ears of wheat), and detects the target object from the obtained second divided image.
  • This is a functional unit that detects (ears of wheat).
  • grid division with a division size that corresponds to the size of the target object (ears of wheat) means to avoid situations where the characteristics of the target object become unclear or disappear, and to divide the pixels occupied by the target object.
  • Grid division is performed to obtain a "second divided image" in which the ratio of Alternatively, grid division is performed using a division size according to the size of the target object (grain ear) obtained through experiments or the like.
  • the image based on the image data excluded by the exclusion unit 12 becomes the entire image, and this entire image is again divided into grids so that the object can be detected so that the characteristics of the object do not become unclear or disappear.
  • a "second divided image” in which the proportion of pixels occupied by the target object is appropriately increased is obtained, and the target object detection unit 13 detects the target object (ears of wheat) from such a second divided image.
  • the prediction unit 14 counts the number of ears of the target object (ears of wheat) detected by the target object detection unit 13, and calculates the number of ears of the target object (wheat ears) detected by the target object detection unit 13, and calculates the number of ears in a predetermined target range in the grain cultivation field (here, for example, the entire wheat cultivation field 30).
  • This is a functional unit that predicts the number of ears of wheat in the target range from the relative size relationship with the frame F and the count value of the number of ears obtained by counting.
  • the prediction unit 14 includes a counting unit 14A, a correction unit 14B, and a panicle number prediction unit 14C.
  • the counting unit 14A is a functional unit that counts the number of ears of wheat detected by the target object detection unit 13
  • the correction unit 14B is a functional unit that counts the number of ears of wheat detected by the target object detection unit 13. This is a functional unit that corrects the panicle number count value obtained by counting using the method described later.
  • the panicle number prediction unit 14C determines the number of panicles in the target range based on the relative size relationship between a predetermined target range (for example, the entire wheat cultivation field 30) and the frame F, and the panicle number correction value after correction by the correction unit 14B. This is a functional part that predicts the number of ears of wheat.
  • this processing includes processing by the panicle number prediction device 10 (steps S3 to S10) and processing by the operator (steps S1 and S2) corresponding to preliminary preparation thereof.
  • step S1 the operator installs a frame F in the cultivation field to be counted (step S1), and takes a photograph with the camera 20 so that the entire installed frame is captured (step S2).
  • step S2 image data of a region image depicting the region including the frame F, as shown in image example P1 in FIG. 3, is obtained.
  • the corner detection unit 11 acquires image data of a region image that captures the region including the above-mentioned frame F (step S3), and as shown in image example P2 in FIG. Then, the area image is divided into, for example, a 3 ⁇ 3 grid, and the corners of the frame F in the obtained first divided image are detected based on existing image recognition technology (step S4).
  • the exclusion unit 12 acquires the position of the frame F based on the position of the detected corner (position coordinate data), and based on the acquired position of the frame F, the position of the frame F from the image data of the first divided image. Exclude the outer region (step S5).
  • Image example P3 in FIG. 3 shows an example of the image after excluding the outer area, but if the frame F actually appears slightly distorted from its rectangular shape, although it is not possible to completely exclude all of the outer area, The exclusion process in step S5 is performed so that at least the entire area of frame F remains.
  • the target object detection unit 13 divides the image based on the image data excluded by the exclusion unit 12 into, for example, a 3 ⁇ 3 grid as shown in image example P4 in FIG.
  • a target object is detected from the image based on existing image recognition technology (step S6).
  • grid division here, for example, an object (ear of grain) that can be detected empirically or experimentally so that the characteristics of the object do not become unclear or disappear.
  • Grid division is performed with a division size corresponding to the size of the image, and a "second divided image" in which the proportion of pixels occupied by the object is appropriately increased is obtained.
  • steps S4 and S6 do not need to be a division into a 3 ⁇ 3 grid, but may be a division into an N ⁇ M (both N and M are arbitrary natural numbers) grids. Further, steps S4 and S6 do not need to be divided into the same N ⁇ M (both N and M are arbitrary natural numbers) grids, but may be divided into mutually different grids.
  • the counting unit 14A counts the number of ears of wheat detected by the target object detection unit 13 (step S7), and the correction unit 14B calculates the number of ears count value obtained by counting by the counting unit 14A, Correction is performed using the following method (step S8).
  • the number of detections + M) is determined in advance by statistical processing, and in step S8, by applying the panicle number count value to the correction formula of the simple regression model determined in advance, the corrected value that is expected to be close to the true value (real number) is calculated. Obtain the panicle number count value.
  • the width of the row in which wheat was sown is generally correlated to the density of wheat, so instead of the number of detections (ear count value) mentioned above, it is used as basic information for correction.
  • the width of the ridge in which the seeds were sown may be used.
  • ridge means each of multiple rows of areas formed by mounding soil in a long and thin linear shape with space between each other in order to grow grain in a cultivation field, and "ridge width” means: It means the width (dimension in the direction perpendicular to the longitudinal direction) of an elongated linear region.
  • the true value of the number of ears of wheat (real number) obtained by manual counting in a wheat cultivation field and the ridge width (unit: cm) of the same wheat cultivation field.
  • the correction unit 14B uses any method, for example, in advance, so that the count value of the number of panicles obtained by counting by the counting unit 14A approaches the true value obtained by applying the ridge width to the correction formula.
  • the panicle number count value may be corrected using a formula (weighting function, etc.) determined empirically or through experiments.
  • the panicle number count value may be corrected using any method, for example, using a formula (weighting function, etc.) determined empirically or experimentally in advance so as to approximate the value.
  • the correction unit 14B converts the degree of growth of wheat (for example, the average value of the thickness of the stems, the average value of the length of the stems, etc.) recognized from the image data of the wheat cultivation field into further basic information.
  • the panicle number count value may be corrected as follows.
  • the panicle number prediction unit 14C determines the relative size relationship between a predetermined target range (for example, the entire wheat cultivation field 30) and the frame F, and the panicle number after correction by the correction unit 14B.
  • the number of ears of wheat in the target range is predicted based on the correction value (step S9), and the predicted value of the number of ears of wheat in the target range is output (step S10).
  • the target range for example, the entire wheat cultivation field 30
  • the number of ears of wheat in the target range can be multiplied by N times the corrected ear number correction value.
  • output here includes various forms of output, such as display output to a display, print output to a printer, and data transmission to an external device.
  • the image after the exclusion is further divided into division sizes according to the size of the target object (ears of wheat). Since the image is divided into grids, it is possible to obtain a "second divided image" in which the proportion of pixels occupied by the object is appropriately increased while avoiding situations where the characteristics of the object become unclear or disappear.
  • the target object (ear of wheat) is detected from such a second divided image, and at this time, the detection accuracy of the target object (ear of wheat) in the second divided image can be improved.
  • the number of ears of wheat that has been detected with high accuracy is counted, and the number of ears of wheat in the target range is predicted from the relative size relationship between the target range and frame F and the number of ears of wheat.
  • the number of ears of wheat in the target range can be predicted with high accuracy.
  • the correction unit 14B through the correction process performed by the correction unit 14B, it is possible to compensate for information that cannot be read or that is difficult to read from the image, such as ears of wheat hidden behind leaves or ears of wheat that are crowded together, and predict the number of ears with higher accuracy. can. Furthermore, when the row width is used as the basis for correction, there is an advantage that the ear number count value can be corrected easily and accurately based on the row width information that can be easily obtained without being affected by changes in the color of the wheat. In addition, in an example in which correction is further based on the degree of wheat growth (for example, the average value of stem thickness, average value of stem length, etc.), in particular, image data obtained by photographing a wheat cultivation field from an angle can be used.
  • the degree of wheat growth for example, the average value of stem thickness, average value of stem length, etc.
  • the direction of each side is determined from the coordinates of both ends of the diagonal line (the coordinates of the two points at the top right and bottom left with stars).
  • An example is a pseudo rectangular area (white area) that is specified.
  • a pseudo rectangular area specified by arranging ten objects X in each of the vertical and horizontal directions.
  • step S6 of FIG. 2 when dividing the image after excluding the external area into grids to obtain a plurality of second divided images, the target object detection unit 13 detects an excessive It is also possible to divide the image into a grid based on a line with a margin added thereto, and obtain a divided image in which the area is expanded outwardly by the margin as each second divided image.
  • the above-mentioned surplus is determined according to the size of the object to be detected (an ear of wheat), and an appropriate surplus area that is neither too wide nor too narrow is added.
  • the object detection unit 13 detects the object (ear of wheat) in each of the second divided images expanded outward by the surplus amount, and detects the object (ear of wheat) located on the grid dividing line. It is also possible to detect all of the following.
  • the prediction unit 14 double-counts the panicle number count value in the adjacent second divided image as follows. Correct to reduce the amount. For example, for the ears of wheat detected and counted in each of the adjacent second divided images, the two-dimensional coordinates of the detected object (ears of wheat) in the two-dimensional coordinate system set for the wheat cultivation field image through image processing are the same. (that is, the same ears of wheat that were counted twice), and then corrected so that the detected number (surplus due to double counting) is subtracted from the ear number count value. As described above, it is possible to detect all objects (ears of wheat) located on the grid division lines while avoiding the disadvantages of double counting, and it is possible to contribute to improving the accuracy of predicting the number of ears.
  • each functional block may be realized using one physically or logically coupled device, or may be realized using two or more physically or logically separated devices directly or indirectly (e.g. , wired, wireless, etc.) and may be realized using a plurality of these devices.
  • the functional block may be realized by combining software with the one device or the plurality of devices.
  • Functions include judgment, decision, judgment, calculation, calculation, processing, derivation, investigation, exploration, confirmation, reception, transmission, output, access, resolution, selection, selection, establishment, comparison, assumption, expectation, consideration, These include, but are not limited to, broadcasting, notifying, communicating, forwarding, configuring, reconfiguring, allocating, mapping, and assigning. I can't do it.
  • a functional block (configuration unit) that performs transmission is called a transmitting unit or transmitter. In either case, as described above, the implementation method is not particularly limited.
  • the panicle number prediction device in one embodiment of the present disclosure may function as a computer that performs the processing in this embodiment.
  • FIG. 7 is a diagram illustrating a hardware configuration example of the panicle number prediction device 10 according to an embodiment of the present disclosure.
  • the above-mentioned panicle number prediction device 10 may be physically configured as a computer device including a processor 1001, a memory 1002, a storage 1003, a communication device 1004, an input device 1005, an output device 1006, a bus 1007, and the like.
  • the word “apparatus” can be read as a circuit, a device, a unit, etc.
  • the hardware configuration of the panicle number prediction device 10 may be configured to include one or more of each device shown in the figure, or may be configured not to include some of the devices.
  • Each function in the panicle number prediction device 10 includes loading predetermined software (programs) onto hardware such as the processor 1001 and memory 1002, so that the processor 1001 performs calculations, controls communication by the communication device 1004, This is realized by controlling at least one of reading and writing data in the memory 1002 and storage 1003.
  • the processor 1001 for example, operates an operating system to control the entire computer.
  • the processor 1001 may be configured by a central processing unit (CPU) including an interface with peripheral devices, a control device, an arithmetic unit, registers, and the like.
  • CPU central processing unit
  • the processor 1001 reads programs (program codes), software modules, data, etc. from at least one of the storage 1003 and the communication device 1004 to the memory 1002, and executes various processes in accordance with these.
  • programs program codes
  • software modules software modules
  • data etc.
  • the program a program that causes a computer to execute at least part of the operations described in the above embodiments is used.
  • Processor 1001 may be implemented by one or more chips. Note that the program may be transmitted from a network via a telecommunications line.
  • the memory 1002 is a computer-readable recording medium, and includes at least one of ROM (Read Only Memory), EPROM (Erasable Programmable ROM), EEPROM (Electrically Erasable Programmable ROM), RAM (Random Access Memory), etc. may be done.
  • Memory 1002 may be called a register, cache, main memory, or the like.
  • the memory 1002 can store executable programs (program codes), software modules, and the like to implement a wireless communication method according to an embodiment of the present disclosure.
  • the storage 1003 is a computer-readable recording medium, such as an optical disk such as a CD-ROM (Compact Disc ROM), a hard disk drive, a flexible disk, or a magneto-optical disk (for example, a compact disk, a digital versatile disk, or a Blu-ray disk). (registered trademark disk), smart card, flash memory (eg, card, stick, key drive), floppy disk, magnetic strip, etc.
  • Storage 1003 may also be called an auxiliary storage device.
  • the storage medium mentioned above may be, for example, a database including at least one of memory 1002 and storage 1003, or other suitable medium.
  • the communication device 1004 is hardware (transmission/reception device) for communicating between computers via at least one of a wired network and a wireless network, and is also referred to as a network device, network controller, network card, communication module, etc., for example.
  • the input device 1005 is an input device (eg, keyboard, mouse, microphone, switch, button, sensor, etc.) that accepts input from the outside.
  • the output device 1006 is an output device (for example, a display, a speaker, an LED lamp, etc.) that performs output to the outside.
  • the input device 1005 and the output device 1006 may have an integrated configuration (for example, a touch panel).
  • each device such as the processor 1001 and the memory 1002 is connected by a bus 1007 for communicating information.
  • the bus 1007 may be configured using a single bus, or may be configured using different buses for each device.
  • notification of prescribed information is not limited to being done explicitly, but may also be done implicitly (for example, not notifying the prescribed information). Good too.
  • the input/output information may be stored in a specific location (for example, memory) or may be managed using a management table. Information etc. to be input/output may be overwritten, updated, or additionally written. The output information etc. may be deleted. The input information etc. may be transmitted to other devices.
  • the phrase “based on” does not mean “based solely on” unless explicitly stated otherwise. In other words, the phrase “based on” means both “based only on” and “based at least on.”
  • a and B are different may mean “A and B are different from each other.” Note that the term may also mean that "A and B are each different from C”. Terms such as “separate” and “coupled” may also be interpreted similarly to “different.”

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Marine Sciences & Fisheries (AREA)
  • General Health & Medical Sciences (AREA)
  • Forests & Forestry (AREA)
  • Ecology (AREA)
  • Agronomy & Crop Science (AREA)
  • Animal Husbandry (AREA)
  • Botany (AREA)
  • Mining & Mineral Resources (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Environmental Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

穂数予測装置（１０）は、穀物の栽培圃場に設定された二次元単位領域（枠Ｆ）を含む領域を写した領域画像をグリッド分割し、得られた第１分割画像における二次元単位領域の角を検出する角検出部（１１）と、検出された角の位置に基づいて二次元単位領域の位置を取得し、二次元単位領域の位置に基づき第１分割画像の画像データから二次元単位領域の外側領域の画像データを除外する除外部（１２）と、除外後の画像を、穀物の穂の大きさに応じた分割サイズでグリッド分割し、得られた第２分割画像から穀物の穂を検出する対象物検出部（１３）と、検出された穀物の穂の穂数をカウントし、穀物の栽培圃場における対象範囲と二次元単位領域との相対的なサイズ関係と、穂数カウント値に基づいて対象範囲の穀物の穂数を予測する予測部（１４）と、を備える。

Description

穂数予測装置
　本開示は、穀物の穂数を予測する穂数予測装置に関する。なお、「穀物」とは、人間がその種子などを常食とする農作物を意味し、例えば、麦、稲、粟、稗などが挙げられる。「穀物の穂」とは、穀物の茎の先端に花や実が群がりついたものを意味し、穀物の穂数をカウントする場合は、穀物の茎の先端に生じた一群の花や実を１つとしてカウントする。
　麦栽培では、麦の生育に応じて必要な養分を追加で与える追肥作業が不可欠であり、その追肥量を適切に定めるためには麦穂数の把握が必要になる。ところが、麦穂数を実際に手作業でカウントするのは膨大な手間がかかる。そのため、人工知能（Artificial　Intelligence（ＡＩ））を利用した画像認識技術を使って、麦栽培圃場を写した画像データから麦穂を認識し、麦穂数を予測することが考えられる。このような事情は、麦穂数以外の他の穀物の穂数を予測する場合にも存在する。
特開２０１９－１９７３４５号公報
　人工知能に画像データを入力した場合、人工知能は、自身で処理しやすいように、所定の単位（例えば200画素×200画素）に画像を分割する（いわゆるリサイズ処理を行う）ことが一般的である。このとき、全体の画素数に対して対象物（例えば麦穂）が占める画素割合が少なすぎると、上記のリサイズ処理の影響で画像において対象物の特徴が不明確になる又は消失するという課題があった。一方、特許文献１には、小さい対象物を画像認識する処理において、全体画像を分割した複数の分割画像から対象物の近隣領域を抽出する例が記載されている。しかし、この技術は、単に、より細かく分割された画像からの画像認識を示したものであり、対象物の大きさに応じて適度に分割された画像を用いる点までは示していないため、対象物の検出精度を向上させる上で、改良の余地があった。
　本開示は、上記課題を解決するために成されたものであり、穂数予測処理において、対象物を精度良く検出し、精度良く穂数を予測することを目的とする。
　本開示に係る穂数予測装置は、穀物の穂数を予測する穂数予測装置であって、穀物の栽培圃場に設定された二次元単位領域を含む領域を写した領域画像をグリッド分割し、得られた第１分割画像における前記二次元単位領域の角を、画像認識技術を使って検出する角検出部と、前記検出部により検出された角の位置に基づいて前記二次元単位領域の位置を取得し、当該二次元単位領域の位置に基づき、前記第１分割画像の画像データから前記二次元単位領域の外側領域の画像データを除外する除外部と、前記除外部による除外後の画像データに基づく画像を、対象物である前記穀物の穂の大きさに応じた分割サイズでグリッド分割し、得られた第２分割画像から前記穀物の穂を検出する対象物検出部と、前記対象物検出部により検出された前記穀物の穂の穂数をカウントし、前記穀物の栽培圃場における予め定められた対象範囲と前記二次元単位領域との相対的なサイズ関係、および、前記カウントで得られた穂数カウント値に基づいて、前記対象範囲における前記穀物の穂数を予測する予測部と、を備える。
　上記の穂数予測装置では、角検出部が、穀物の栽培圃場に設定された二次元単位領域を含む領域を写した領域画像をグリッド分割し、得られた第１分割画像における二次元単位領域の角を、画像認識技術を使って検出し、除外部が、検出された角の位置に基づいて二次元単位領域の位置を取得し、当該二次元単位領域の位置に基づき、第１分割画像の画像データから二次元単位領域の外側領域の画像データを除外する。そして、対象物検出部が、除外後の画像データに基づく画像を、対象物（穀物の穂）の大きさに応じた分割サイズでグリッド分割し、得られた第２分割画像から穀物の穂を検出する。さらに、予測部が、検出された穀物の穂の穂数をカウントし、穀物の栽培圃場における予め定められた対象範囲と二次元単位領域との相対的なサイズ関係、および、カウントで得られた穂数カウント値に基づいて、対象範囲における穀物の穂数を予測する。
　上記のように、穂数予測装置では、第１分割画像の画像データから、二次元単位領域の外側領域の画像データが除外された上で、さらに、除外後の画像データに基づく画像は、対象物（穀物の穂）の大きさに応じた分割サイズでグリッド分割される。ここでの「対象物（麦穂）の大きさに応じた分割サイズでのグリッド分割」とは、対象物の特徴が不明確になる又は消失するといった事態を回避しつつ、対象物が占める画素の割合を適度に大きくした「第２分割画像」を得るようにグリッド分割するものであり、例えば、対象物の特徴が不明確にならず消失しないように対象物を検出可能な予め経験的に又は実験等により得られた、対象物（穀物の穂）の大きさに応じた分割サイズで、グリッド分割するものである。そして、対象物検出部は、上記のようなグリッド分割で得られた第２分割画像から対象物を検出し、予測部は、検出された対象物の数（穀物の穂数）をカウントし、穀物の栽培圃場における対象範囲と二次元単位領域との相対的なサイズ関係、および、穂数カウント値に基づいて、対象範囲における穀物の穂数を予測する。そのため、第２分割画像における対象物（穀物の穂）の検出精度を向上させ、対象範囲における穀物の穂数を精度良く予測することができる。
　本開示によれば、第２分割画像における対象物（穀物の穂）の検出精度を向上させ、対象範囲における穀物の穂数を精度良く予測することができる。
発明の実施形態における穂数予測装置および関連機器の機能ブロック構成図である。 穂数予測に係る処理を示すフロー図である。 麦穂検出までの処理を説明するための図である。 （ａ）は、二次元単位領域として、麦栽培圃場に設定された、各辺の方向が予め定められ対角線の両端座標から特定される長方形の領域を用いる場合を説明するための図であり、（ｂ）は、二次元単位領域として、穀物の栽培圃場に設定された１点座標を基準にして、縦横の長さが既知である長方形を所定の２軸方向に沿って複数並べることで特定される領域を用いる場合を説明するための図である。 麦栽培圃場でカウントして得られた麦穂数真値（実数）と対応する麦栽培圃場の画像データからカウントして得られた検出数（穂数カウント値）との乖離具合を表す補正式を生成し、人工知能の検出結果に適用する例を説明するための図である。 麦栽培圃場でカウントして得られた麦穂数真値（実数）と対応する麦栽培圃場の畝幅との相関関係を示す図である。 穂数予測装置のハードウェア構成例を示す図である。
　以下、図面を参照しながら、本開示に係る穂数予測装置の一実施形態を説明する。
　図１に示す一実施形態に係る穂数予測装置１０は、穀物の栽培圃場に設定された二次元単位領域の一例として、麦栽培圃場３０に設置された長方形の枠Ｆ、を含む領域をカメラ２０により写した領域画像の画像データを取得し、当該画像データから対象範囲（例えば麦栽培圃場３０全体）における穀物の穂数（ここでは麦穂数）を予測する。
　穂数予測装置１０は、本開示に係る機能を実現するための機能ブロックとして、角検出部１１、除外部１２、対象物検出部１３、および予測部１４を備える。以下、各部の機能を概説する。
　角検出部１１は、麦栽培圃場３０に設置された長方形の枠Ｆを含む領域をカメラ２０により写した領域画像の画像データを取得し、取得された画像データに対する画像処理で、上記領域画像をグリッド分割し、得られた第１分割画像における枠Ｆの角を、既存の画像認識技術を使って検出する機能部である。ここでの、枠Ｆの角の検出により、上記領域画像の画像データに設定された二次元座標系における枠Ｆの４つの角それぞれの位置座標情報が得られる。本実施形態では、栽培圃場に設定された二次元単位領域として、仮想の枠ではなく実在する長方形の枠Ｆを用いる例を示すが、これ以外のバリエーションは図４（ａ）、（ｂ）を用いて後述する。
　除外部１２は、角検出部１１により検出された角の位置（即ち、領域画像の画像データに設定された二次元座標系における枠Ｆの４つの角それぞれの位置座標）から、麦栽培圃場３０における枠Ｆの位置を取得し、第１分割画像の画像データから枠Ｆの外側領域の画像データを除外する機能部である。
　対象物検出部１３は、除外部１２による除外後の画像データに基づく画像を、対象物（麦穂）の大きさに応じた分割サイズでグリッド分割し、得られた第２分割画像から対象物（麦穂）を検出する機能部である。ここでの「対象物（麦穂）の大きさに応じた分割サイズでのグリッド分割」とは、対象物の特徴が不明確になる又は消失するといった事態を回避しつつ、対象物が占める画素の割合を適度に大きくした「第２分割画像」を得るようにグリッド分割するものであり、例えば、対象物の特徴が不明確にならず消失しないように対象物を検出可能な予め経験的に又は実験等により得られた、対象物（穀物の穂）の大きさに応じた分割サイズで、グリッド分割するものである。即ち、除外部１２による除外後の画像データに基づく画像が全体画像となり、この全体画像が再びグリッド分割されて、対象物の特徴が不明確にならず消失しないように対象物を検出可能な、対象物が占める画素の割合を適度に大きくした「第２分割画像」が得られ、対象物検出部１３は、このような第２分割画像から対象物（麦穂）を検出する。
　予測部１４は、対象物検出部１３により検出された対象物（麦穂）の穂数をカウントし、穀物の栽培圃場における予め定められた対象範囲（ここでは、例えば麦栽培圃場３０全体）と枠Ｆとの相対的なサイズ関係、および、カウントで得られた穂数カウント値から、対象範囲における麦穂数を予測する機能部である。また、予測部１４は、計数部１４Ａ、補正部１４Ｂ、および穂数予測部１４Ｃを含む。このうち、計数部１４Ａは、対象物検出部１３により検出された麦穂の穂数をカウントする機能部であり、補正部１４Ｂは、麦穂数予測の精度を向上させるために、計数部１４Ａによるカウントで得られた穂数カウント値を、後述する手法により補正する機能部である。穂数予測部１４Ｃは、予め定められた対象範囲（例えば麦栽培圃場３０全体）と枠Ｆとの相対的なサイズ関係、および補正部１４Ｂによる補正後の穂数補正値に基づいて対象範囲における麦穂数を予測する機能部である。
　次に、図２のフロー図に沿って、穂数予測に係る処理を説明する。同処理は、図２に示すように、穂数予測装置１０による処理（ステップＳ３～Ｓ１０）と、その前準備に相当するオペレータによる処理（ステップＳ１、Ｓ２）とを含む。
　まず、オペレータによる処理として、オペレータは、カウントしたい栽培圃場に枠Ｆを設置し（ステップＳ１）、設置した枠全体が写るようにカメラ２０によって写真撮影する（ステップＳ２）。これにより、図３の画像例Ｐ１に示すような、枠Ｆを含む領域を写した領域画像の画像データが得られる。
　次に、穂数予測装置１０による処理として、角検出部１１が、上記の枠Ｆを含む領域を写した領域画像の画像データを取得し（ステップＳ３）、図３の画像例Ｐ２に示すように上記領域画像を例えば３×３のグリッドに分割し、得られた第１分割画像における枠Ｆの角を既存の画像認識技術に基づき検出する（ステップＳ４）。
　そして、除外部１２が、検出された角の位置（位置座標データ）に基づいて枠Ｆの位置を取得し、取得された枠Ｆの位置に基づき、第１分割画像の画像データから枠Ｆの外側領域を除外する（ステップＳ５）。図３の画像例Ｐ３に、外側領域除外後の画像例を示すが、実際に、枠Ｆがその長方形の形状から若干歪んで写る場合には、外側領域の全てを完全には除外できないものの、少なくとも枠Ｆの全域が残るように、ステップＳ５の除外処理が行われる。
　次に、対象物検出部１３が、除外部１２による除外後の画像データに基づく画像を、図３の画像例Ｐ４に示すように例えば３×３のグリッドに分割し、得られた第２分割画像から既存の画像認識技術に基づき対象物（麦穂）を検出する（ステップＳ６）。ここでの「グリッド分割」では、例えば、対象物の特徴が不明確にならず消失しないように対象物を検出可能な予め経験的に又は実験等により得られた、対象物（穀物の穂）の大きさに応じた分割サイズで、グリッド分割が行われ、対象物が占める画素の割合を適度に大きくした「第２分割画像」が得られる。
　なお、上記ステップＳ４、Ｓ６とも、３×３のグリッドへの分割である必要はなく、Ｎ×Ｍ（Ｎ、Ｍとも任意の自然数）のグリッドへの分割であればよい。また、ステップＳ４とＳ６で同じＮ×Ｍ（Ｎ、Ｍとも任意の自然数）のグリッドへの分割である必要はなく、互いに異なるグリッドへの分割であってもよい。
　次に、計数部１４Ａが、対象物検出部１３により検出された麦穂の穂数をカウントし（ステップＳ７）、補正部１４Ｂが、計数部１４Ａによるカウントで得られた穂数カウント値を、以下の手法により補正する（ステップＳ８）。
　例えば、補正部１４Ｂは、検出数（計数部１４Ａによるカウントで得られた穂数カウント値）を真値（実数）に近づけるように補正するための単回帰モデルの補正式（真値＝A2×検出数＋M）を統計処理によって予め求めておき、ステップＳ８では、予め求めた単回帰モデルの補正式に穂数カウント値を適用することで、真値（実数）に近づいたと期待される補正後の穂数カウント値を得る。上記の単回帰モデルの補正式（真値＝A2×検出数＋M）は、例えば図５に示すような、麦栽培圃場において人手でカウントして得られた麦穂数真値（実数）と、同じ麦栽培圃場の画像データから麦穂を検出しカウントして得られた検出数（穂数カウント値）との多数の組合せをプロットしたグラフから生成される。図５では、破線の線分で表された「真値y＝0.90×検出数（穂数カウント値）＋110.65」といった単回帰モデルの補正式が生成された例を示す。
　別の例として、麦の種まきを行った畝の畝幅は、一般的に、麦の密集度に相関するため、上記の検出数（穂数カウント値）の代わりに、補正の基礎情報として、種まきを行った畝の畝幅を用いてもよい。なお、「畝」とは、栽培圃場で穀物を作るために、互いに間隔を空けて細長く直線状に土を盛り上げて形成された複数列の領域の各々を意味し、「畝幅」とは、細長い直線状の領域の幅（長手方向に垂直な方向の寸法）を意味する。畝幅を用いる場合、例えば図６に示すような、麦栽培圃場において人手でカウントして得られた麦穂数真値（実数）と同じ麦栽培圃場の畝幅（単位：cm）との多数の組合せをプロットしたグラフから、破線の線分で表された単回帰モデルの補正式（真値＝A1×畝幅＋B）を生成してもよい。この場合、補正部１４Ｂは、上記補正式に畝幅を適用して得られた真値に、計数部１４Ａによるカウントで得られた穂数カウント値を近づけるように、任意の手法で、例えば予め経験的に又は実験等により求められた式（重み付け関数など）を用いて、穂数カウント値を補正すればよい。
　また別の例として、補正部１４Ｂは、検出数（穂数カウント値）と畝幅の両方を用いて、重回帰モデルの補正式（真値＝A1×畝幅＋A2×検出数＋B）を生成してもよい。即ち、補正部１４Ｂは、このような補正式に畝幅と検出数（穂数カウント値）の両方を適用することで、予想される真値を得て、この真値に穂数カウント値を近づけるように、任意の手法で、例えば予め経験的に又は実験等により求められた式（重み付け関数など）を用いて、穂数カウント値を補正すればよい。さらに別の例として、補正部１４Ｂは、麦栽培圃場の画像データから認識される麦の成長度合い（例えば、茎の太さの平均値、茎の長さの平均値など）を更なる基礎情報として穂数カウント値を補正してもよい。
　図２へ戻り、次に、穂数予測部１４Ｃは、予め定められた対象範囲（例えば麦栽培圃場３０全体）と枠Ｆとの相対的なサイズ関係、および補正部１４Ｂによる補正後の穂数補正値に基づいて対象範囲における麦穂数を予測し（ステップＳ９）、対象範囲の麦穂数予測値を出力する（ステップＳ１０）。例えば、相対的なサイズ関係として、対象範囲（例えば麦栽培圃場３０全体）が枠ＦのＮ倍の面積を有する場合、補正後の穂数補正値をＮ倍することで、対象範囲における麦穂数予測値を得て、出力する。なお、ここでの「出力」としては、ディスプレイへの表示出力、プリンタへの印刷出力、外部装置へのデータ送信など、様々な形態の出力を含む。
　以上説明した実施形態により、第１分割画像の画像データから枠Ｆの外側領域の画像データを除外した上で、さらに、除外後の画像を対象物（麦穂）の大きさに応じた分割サイズでグリッド分割するため、対象物の特徴が不明確になる又は消失するといった事態を回避しつつ、対象物が占める画素の割合を適度に大きくした「第２分割画像」が得られる。このような第２分割画像から対象物（麦穂）が検出され、このとき、第２分割画像における対象物（麦穂）の検出精度を向上させることができる。そして、精度良く検出された麦穂の麦穂数がカウントされ、対象範囲と枠Ｆとの相対的なサイズ関係、および麦穂数カウント値から、対象範囲における麦穂数が予測されるため、対象範囲における麦穂数を精度良く予測することができる。
　また、補正部１４Ｂによる補正処理により、葉の裏に隠れている麦穂、密集している麦穂など、画像から読み取れない又は読み取りづらい情報を補って、より精度良く穂数を予測することができる。また、補正の基礎として畝幅を用いる場合は、麦の色の変化に影響されないで簡単に取得可能な畝幅情報に基づき、精度良く且つ簡易に穂数カウント値を補正できるという利点がある。また、麦の成長度合い（例えば、茎の太さの平均値、茎の長さの平均値など）をさらに基礎として補正を行う例については、とりわけ、麦栽培圃場を斜めから撮影して画像データを取得する場合、麦の成長度合いが高いほど、麦穂が葉の裏などに隠れてしまう可能性が高くなるという相関性が有るため、麦の成長度合いをさらに考慮して補正することで、真値に近づける効果が高くなるという利点がある。
　（麦栽培圃場に設定された「二次元単位領域」の変形例）
　上記実施形態では、麦栽培圃場に設定された「二次元単位領域」の一例として、麦栽培圃場に設置された実在する長方形の枠Ｆを用いる例を説明したが、これ以外に、画像処理において麦栽培圃場の画像に設定した二次元座標系を利用し、(1)麦栽培圃場に設定された、各辺の方向が予め定められ対角線の両端座標から特定される長方形の領域を用いてもよいし、(2)麦栽培圃場に設定された１点座標を基準にして、縦横の長さが既知である長方形を所定の２軸方向に沿って複数並べることで特定される領域を用いてもよい。上記(1)の例としては、図４（ａ）に示すように、各辺の方向が予め定められた長方形における対角線の両端座標（星マークを付した右上と左下の２点の座標）から特定される擬似的な長方形の領域（白色の領域）が挙げられる。また、上記(2)の例としては、図４（ｂ）に示すように、縦８cm×横１０cmの物体Ｘが写っていた場合、星マークを付した左上の１点の座標を基準にして、物体Ｘを、縦方向および横方向それぞれに１０個並べることで特定される擬似的な長方形の領域が挙げられる。
　（図２のステップＳ６でのグリッド分割の変形例）
　図２のステップＳ６において、対象物検出部１３は、外部領域除外後の画像をグリッド分割して複数の第２分割画像を得る場合、グリッド分割線上でなく、グリッド分割線から分割領域外側に余剰分（マージン）を加えた線を基準にしてグリッド分割し、個々の第２分割画像として、外側に余剰分だけ領域が拡張された分割画像を得てもよい。上記の余剰分は、検出の対象物（麦穂）の大きさに応じて定められ、広すぎず且つ狭すぎない適度な余剰分の領域が加えられる。この場合、対象物検出部１３は、余剰分だけ外側に拡張された個々の第２分割画像において対象物（麦穂）を検出することになり、グリッド分割線上に位置する対象物（麦穂）についても漏れなく検出することが可能となる。
　ただし、上記の場合、隣接する第２分割画像同士で、余剰分の領域が重なることになるため、麦穂数のカウントにおいて二重カウントが起こりうる。そこで、上記のように余剰分を加えた線を基準にしたグリッド分割が行われる場合、予測部１４は、隣接する第２分割画像における穂数カウント値を対象として、以下のように二重カウント分を減らすように補正する。例えば、隣接する第２分割画像でそれぞれ、検出されてカウントされた麦穂において、画像処理にて麦栽培圃場画像に設定した二次元座標系における検出物（麦穂）の二次元座標が同じになるもの（即ち、二重カウントされた同一の麦穂）を検出し、検出された数（二重カウントによる余剰分）だけ穂数カウント値から減らすように補正すればよい。以上により、二重カウントの弊害を回避しつつ、グリッド分割線上に位置する対象物（麦穂）についても漏れなく検出することができ、穂数予測の精度向上に寄与することができる。
　なお、上述した実施形態では、「穀物の穂数」として「麦穂数」を予測する例を示したが、麦以外の稲、粟、稗などの穀物の穂数を予測する場合にも、本開示の技術は適用可能であり、同様の効果を奏する。
　（用語の説明、ハードウェア構成（図７）の説明など）
　なお、上記の実施形態、変形例の説明に用いたブロック図は、機能単位のブロックを示している。これらの機能ブロック（構成部）は、ハードウェア及びソフトウェアの少なくとも一方の任意の組み合わせによって実現される。また、各機能ブロックの実現方法は特に限定されない。すなわち、各機能ブロックは、物理的又は論理的に結合した１つの装置を用いて実現されてもよいし、物理的又は論理的に分離した２つ以上の装置を直接的又は間接的に（例えば、有線、無線などを用いて）接続し、これら複数の装置を用いて実現されてもよい。機能ブロックは、上記１つの装置又は上記複数の装置にソフトウェアを組み合わせて実現されてもよい。
　機能には、判断、決定、判定、計算、算出、処理、導出、調査、探索、確認、受信、送信、出力、アクセス、解決、選択、選定、確立、比較、想定、期待、見做し、報知（broadcasting）、通知（notifying）、通信（communicating）、転送（forwarding）、構成（configuring）、再構成（reconfiguring）、割り当て（allocating、mapping）、割り振り（assigning）などがあるが、これらに限られない。たとえば、送信を機能させる機能ブロック（構成部）は、送信部（transmitting　unit）、送信機（transmitter）と呼称される。いずれも、上述したとおり、実現方法は特に限定されない。
　例えば、本開示の一実施の形態における穂数予測装置は、本実施形態における処理を行うコンピュータとして機能してもよい。図７は、本開示の一実施の形態に係る穂数予測装置１０のハードウェア構成例を示す図である。上述の穂数予測装置１０は、物理的には、プロセッサ１００１、メモリ１００２、ストレージ１００３、通信装置１００４、入力装置１００５、出力装置１００６、バス１００７などを含むコンピュータ装置として構成されてもよい。
　以下の説明では、「装置」という文言は、回路、デバイス、ユニットなどに読み替えることができる。穂数予測装置１０のハードウェア構成は、図に示した各装置を１つ又は複数含むように構成されてもよいし、一部の装置を含まずに構成されてもよい。
　穂数予測装置１０における各機能は、プロセッサ１００１、メモリ１００２などのハードウェア上に所定のソフトウェア（プログラム）を読み込ませることによって、プロセッサ１００１が演算を行い、通信装置１００４による通信を制御したり、メモリ１００２及びストレージ１００３におけるデータの読み出し及び書き込みの少なくとも一方を制御したりすることによって実現される。
　プロセッサ１００１は、例えば、オペレーティングシステムを動作させてコンピュータ全体を制御する。プロセッサ１００１は、周辺装置とのインタフェース、制御装置、演算装置、レジスタなどを含む中央処理装置（ＣＰＵ：Central　Processing　Unit）によって構成されてもよい。
　また、プロセッサ１００１は、プログラム（プログラムコード）、ソフトウェアモジュール、データなどを、ストレージ１００３及び通信装置１００４の少なくとも一方からメモリ１００２に読み出し、これらに従って各種の処理を実行する。プログラムとしては、上述の実施の形態において説明した動作の少なくとも一部をコンピュータに実行させるプログラムが用いられる。上述の各種処理は、１つのプロセッサ１００１によって実行される旨を説明してきたが、２以上のプロセッサ１００１により同時又は逐次に実行されてもよい。プロセッサ１００１は、１以上のチップによって実装されてもよい。なお、プログラムは、電気通信回線を介してネットワークから送信されても良い。
　メモリ１００２は、コンピュータ読み取り可能な記録媒体であり、例えば、ＲＯＭ（Read　Only　Memory）、ＥＰＲＯＭ（Erasable　Programmable　ＲＯＭ）、ＥＥＰＲＯＭ（Electrically　Erasable　Programmable　ＲＯＭ）、ＲＡＭ（Random　Access　Memory）などの少なくとも１つによって構成されてもよい。メモリ１００２は、レジスタ、キャッシュ、メインメモリ（主記憶装置）などと呼ばれてもよい。メモリ１００２は、本開示の一実施の形態に係る無線通信方法を実施するために実行可能なプログラム（プログラムコード）、ソフトウェアモジュールなどを保存することができる。
　ストレージ１００３は、コンピュータ読み取り可能な記録媒体であり、例えば、ＣＤ－ＲＯＭ（Compact　Disc　ＲＯＭ）などの光ディスク、ハードディスクドライブ、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Ｂｌｕ－ｒａｙ（登録商標）ディスク)、スマートカード、フラッシュメモリ(例えば、カード、スティック、キードライブ)、フロッピー（登録商標）ディスク、磁気ストリップなどの少なくとも１つによって構成されてもよい。ストレージ１００３は、補助記憶装置と呼ばれてもよい。上述の記憶媒体は、例えば、メモリ１００２及びストレージ１００３の少なくとも一方を含むデータベース、その他の適切な媒体であってもよい。
　通信装置１００４は、有線ネットワーク及び無線ネットワークの少なくとも一方を介してコンピュータ間の通信を行うためのハードウェア（送受信デバイス）であり、例えばネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュールなどともいう。
　入力装置１００５は、外部からの入力を受け付ける入力デバイス（例えば、キーボード、マウス、マイクロフォン、スイッチ、ボタン、センサなど）である。出力装置１００６は、外部への出力を実施する出力デバイス（例えば、ディスプレイ、スピーカー、LEDランプなど）である。なお、入力装置１００５及び出力装置１００６は、一体となった構成（例えば、タッチパネル）であってもよい。また、プロセッサ１００１、メモリ１００２などの各装置は、情報を通信するためのバス１００７によって接続される。バス１００７は、単一のバスを用いて構成されてもよいし、装置間ごとに異なるバスを用いて構成されてもよい。
　本開示において説明した各態様／実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知（例えば、「Ｘであること」の通知）は、明示的に行うものに限られず、暗黙的（例えば、当該所定の情報の通知を行わない）ことによって行われてもよい。
　以上、本開示について詳細に説明したが、当業者にとっては、本開示が本開示中に説明した実施形態に限定されるものではないということは明らかである。本開示は、請求の範囲の記載により定まる本開示の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。したがって、本開示の記載は、例示説明を目的とするものであり、本開示に対して何ら制限的な意味を有するものではない。
　本開示において説明した各態様／実施形態の処理手順、シーケンス、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本開示において説明した方法については、例示的な順序を用いて様々なステップの要素を提示しており、提示した特定の順序に限定されない。
　入出力された情報等は特定の場所（例えば、メモリ）に保存されてもよいし、管理テーブルを用いて管理してもよい。入出力される情報等は、上書き、更新、又は追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。
　本開示において使用する「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。
　本開示において、「含む（include）」、「含んでいる（including）」及びそれらの変形が使用されている場合、これらの用語は、用語「備える（comprising）」と同様に、包括的であることが意図される。さらに、本開示において使用されている用語「又は（or）」は、排他的論理和ではないことが意図される。
　本開示において、例えば、英語でのa,　an及びtheのように、翻訳により冠詞が追加された場合、本開示は、これらの冠詞の後に続く名詞が複数形であることを含んでもよい。
　本開示において、「ＡとＢが異なる」という用語は、「ＡとＢが互いに異なる」ことを意味してもよい。なお、当該用語は、「ＡとＢがそれぞれＣと異なる」ことを意味してもよい。「離れる」、「結合される」などの用語も、「異なる」と同様に解釈されてもよい。
　１０…穂数予測装置、１１…角検出部、１２…除外部、１３…対象物検出部、１４…予測部、１４Ａ…計数部、１４Ｂ…補正部、１４Ｃ…穂数予測部、２０…カメラ、３０…麦栽培圃場、１００１…プロセッサ、１００２…メモリ、１００３…ストレージ、１００４…通信装置、１００５…入力装置、１００６…出力装置、１００７…バス。

Claims (5)

  1. 　穀物の穂数を予測する穂数予測装置であって、
    　穀物の栽培圃場に設定された二次元単位領域を含む領域を写した領域画像をグリッド分割し、得られた第１分割画像における前記二次元単位領域の角を、画像認識技術を使って検出する角検出部と、
    　前記検出部により検出された角の位置に基づいて前記二次元単位領域の位置を取得し、当該二次元単位領域の位置に基づき、前記第１分割画像の画像データから前記二次元単位領域の外側領域の画像データを除外する除外部と、
    　前記除外部による除外後の画像データに基づく画像を、対象物である前記穀物の穂の大きさに応じた分割サイズでグリッド分割し、得られた第２分割画像から前記穀物の穂を検出する対象物検出部と、
    　前記対象物検出部により検出された前記穀物の穂の穂数をカウントし、前記穀物の栽培圃場における予め定められた対象範囲と前記二次元単位領域との相対的なサイズ関係、および、前記カウントで得られた穂数カウント値に基づいて、前記対象範囲における前記穀物の穂数を予測する予測部と、
    　を備える穂数予測装置。
  2. 　前記二次元単位領域として、
    　前記穀物の栽培圃場に設置した枠状体で囲まれた領域、
    　前記穀物の栽培圃場に設定された、各辺の方向が予め定められ対角線の両端座標から特定される長方形の領域、
    　前記穀物の栽培圃場に設定された１点座標を基準にして、縦横の長さが既知である長方形を所定の２軸方向に沿って複数並べることで特定される領域、
    　の何れか１つが用いられる、
    　請求項１に記載の穂数予測装置。
  3. 　前記対象物検出部は、前記除外後の画像データに基づく画像をグリッド分割する場合、グリッド分割線から分割領域外側に所定の余剰分を加えた線を基準にしてグリッド分割する、
    　請求項１又は２に記載の穂数予測装置。
  4. 　前記余剰分は、前記対象物の大きさに応じて定められる、
    　請求項３に記載の穂数予測装置。
  5. 　前記余剰分を加えた線を基準にしたグリッド分割が行われる場合、前記予測部は、隣接する第２分割画像における穂数カウント値を対象として、二重カウント分を減らすように補正する、
    　請求項３又は４に記載の穂数予測装置。
PCT/JP2023/004066 2022-03-15 2023-02-07 穂数予測装置 WO2023176201A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022039958 2022-03-15
JP2022-039958 2022-03-15

Publications (1)

Publication Number Publication Date
WO2023176201A1 true WO2023176201A1 (ja) 2023-09-21

Family

ID=88022764

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/004066 WO2023176201A1 (ja) 2022-03-15 2023-02-07 穂数予測装置

Country Status (1)

Country Link
WO (1) WO2023176201A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016206995A (ja) * 2015-04-23 2016-12-08 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP2018173676A (ja) * 2017-03-31 2018-11-08 オリンパス株式会社 鉄筋計数装置、計数方法、プログラム
JP6530811B2 (ja) * 2015-05-14 2019-06-12 オリンパス株式会社 画像処理装置
JP2020024672A (ja) * 2018-07-27 2020-02-13 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016206995A (ja) * 2015-04-23 2016-12-08 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP6530811B2 (ja) * 2015-05-14 2019-06-12 オリンパス株式会社 画像処理装置
JP2018173676A (ja) * 2017-03-31 2018-11-08 オリンパス株式会社 鉄筋計数装置、計数方法、プログラム
JP2020024672A (ja) * 2018-07-27 2020-02-13 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム

Similar Documents

Publication Publication Date Title
US11830153B2 (en) Generating an augmented reality image using a blending factor
EP2296080B1 (en) Camera-based touch method and apparatus
JP5042437B2 (ja) カメラベースのタッチシステム
CN109977949B (zh) 边框微调的文本定位方法、装置、计算机设备及存储介质
EP2908287B1 (en) Image segmentation device, image segmentation method, and depth map generating method
CN111192239B (zh) 遥感影像变化区域检测方法、装置、存储介质及电子设备
US11532089B2 (en) Optical flow computing method and computing device
CN111369659B (zh) 一种基于三维模型的纹理映射方法、装置及设备
CN112184688B (zh) 网络模型的训练方法、目标检测方法及相关装置
EP3553738B1 (en) Histogram statistic circuit and multimedia processing system
WO2019014858A1 (zh) 触摸检测方法和触摸检测装置
CN111210764A (zh) 一种led屏校正方法及校正装置
WO2023176201A1 (ja) 穂数予測装置
CN111612868A (zh) 一种地图优化方法及装置
WO2023176196A1 (ja) 穂数予測装置
CN111080544A (zh) 基于图像的人脸畸变校正方法、装置及电子设备
US7515159B2 (en) Reconfigurable address generation circuit for image processing, and reconfigurable LSI comprising the same
US11881002B2 (en) Systems and methods for dynamic decimation of point clouds and data points in a three-dimensional space
US8059893B2 (en) Method for single pass blob image analysis
WO2023176726A1 (ja) 穂数予測装置
JP3655496B2 (ja) 車両検知装置および車両検知方法ならびに車両検知プログラムを記録したコンピュータ読み取り可能な記録媒体
US8155450B2 (en) Apparatus for single pass blob image analysis
JP2020140546A (ja) データ処理装置及びその方法
CN112767472B (zh) 定位显示屏图像中灯珠的方法、计算设备及存储介质
US20160292530A1 (en) Computing hierarchical computations for computer vision calculations

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23770162

Country of ref document: EP

Kind code of ref document: A1