WO2021166894A1 - 重量推定装置及びプログラム - Google Patents

重量推定装置及びプログラム Download PDF

Info

Publication number
WO2021166894A1
WO2021166894A1 PCT/JP2021/005666 JP2021005666W WO2021166894A1 WO 2021166894 A1 WO2021166894 A1 WO 2021166894A1 JP 2021005666 W JP2021005666 W JP 2021005666W WO 2021166894 A1 WO2021166894 A1 WO 2021166894A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
animal
weight
shape
information
Prior art date
Application number
PCT/JP2021/005666
Other languages
English (en)
French (fr)
Inventor
紀功仁 川末
Original Assignee
国立大学法人宮崎大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 国立大学法人宮崎大学 filed Critical 国立大学法人宮崎大学
Priority to CN202180013781.6A priority Critical patent/CN115135973B/zh
Priority to JP2022501900A priority patent/JP7210862B2/ja
Priority to EP21757749.3A priority patent/EP4109057A4/en
Priority to US17/904,371 priority patent/US20230154023A1/en
Publication of WO2021166894A1 publication Critical patent/WO2021166894A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01F—MEASURING VOLUME, VOLUME FLOW, MASS FLOW OR LIQUID LEVEL; METERING BY VOLUME
    • G01F17/00—Methods or apparatus for determining the capacity of containers or cavities, or the volume of solid bodies
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01G—WEIGHING
    • G01G17/00—Apparatus for or methods of weighing material of special form or property
    • G01G17/08—Apparatus for or methods of weighing material of special form or property for weighing livestock
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Definitions

  • the present invention relates to a weight estimation device and a program.
  • Patent Document 1 describes a configuration in which an animal is photographed from a predetermined imaging direction and the weight of the animal is measured (estimated) from the photographed image. According to the above configuration, it is not necessary to keep the animal stationary on the scale, so that the above-mentioned problem is suppressed.
  • the weight estimation device of the present invention is based on an image acquisition unit that acquires an image of an animal, a shape identification unit that specifies the shape of a predetermined part of the animal from the image, and a shape of the predetermined part.
  • the information generation unit includes an information generation unit that generates estimation information used for estimating the weight of the animal, and a weight estimation unit that estimates the weight based on the estimation information.
  • the information generation unit is an animal from the first direction. It is possible to generate estimation information when the first image of the animal is acquired, and the estimation information is also generated when the second image of the animal is acquired from the second direction different from the first direction. It can be generated.
  • the weight of the animal when the first image of the animal taken from the first direction is acquired, the weight of the animal can be estimated, and the animal is taken from the second direction different from the first direction. 2
  • the weight of the animal can be estimated even when the image is acquired. Therefore, as compared with the configuration of Patent Document 1, the degree of freedom in the photographing direction at which the weight related to the animal can be estimated is improved.
  • the degree of freedom in the photographing direction at which the weight related to the animal can be estimated is improved.
  • FIG. 1 is a hardware configuration diagram of the weight estimation device 1. As shown in FIG. 1, the weight estimation device 1 includes a computer 10, a head-mounted display 20, and a depth camera 30. Each of the above configurations is communicably connected.
  • the computer 10 includes a CPU (Central Processing Unit) 11, a ROM (Read Only Memory) 12, a RAM (Random access memory) 13, and an HDD (Hard Disk Drive) 14.
  • a portable computer for example, a notebook computer
  • a desktop personal computer may be adopted as the computer 10.
  • the HDD 14 of the computer 10 stores various data including the weight estimation program PG.
  • the CPU 11 realizes various functions (weight estimation unit 108, etc.) described later.
  • the RAM 13 temporarily stores various types of information that the CPU 11 refers to when executing a program, for example.
  • the ROM 12 non-volatilely stores various types of information.
  • the weight measurement program PG may be stored in a device other than the HDD 14.
  • the head-mounted display 20 can be fixed to the user's head, and a well-known head-mounted display can be appropriately adopted.
  • a well-known head-mounted display can be appropriately adopted.
  • the head-mounted display 20 one including a small liquid crystal screen and a half mirror can be adopted.
  • the above-mentioned small liquid crystal screen can display various images, and the image displayed on the small liquid crystal screen is reflected by the half mirror and visually recognized by the user. With the above configuration, when the user looks at the scenery through the half mirror, the image displayed on the small liquid crystal screen is visually recognized by being superimposed on the scenery.
  • the head-mounted display 20 is not limited to the above examples.
  • the depth camera 30 generates a distance image (three-dimensional image) including depth information indicating the distance to the subject. For example, as the distance image, a point cloud image taken by LIDAR (Light Detection and Ringing, Laser Imaging Detection and Ringing) technology is assumed. Further, the depth camera 30 is provided with a tilt sensor. The above tilt sensor detects the magnitude of tilt in the photographing direction with respect to the vertical direction.
  • LIDAR Light Detection and Ringing, Laser Imaging Detection and Ringing
  • the depth camera 30 is fixed to the head-mounted display 20. Therefore, when the user attaches the head-mounted display 20 to the head, the depth camera 30 is fixed at a specific position when viewed from the user. Specifically, the depth camera 30 is fixed at a position where the shooting direction substantially coincides with the line-of-sight direction of the user.
  • the scenery visually recognized by the user is photographed by the depth camera 30. Therefore, the user can photograph the animal by moving the line-of-sight direction (face direction) so that the animal is located in his / her field of view.
  • the depth camera 30 may be held by the user and an image of an animal may be captured.
  • the configuration of the present embodiment has an advantage that the user can freely use both hands.
  • the image taken by the depth camera 30 is displayed on the head-mounted display 20 (small liquid crystal screen). Specifically, the image taken by the depth camera 30 is displayed on the head-mounted display 20 in real time. With the above configuration, the user can confirm the image taken by the depth camera 30 in real time. However, a configuration may be adopted in which the image taken by the depth camera 30 is not displayed in real time.
  • the image of the animal taken by the depth camera 30 is input to the computer 10.
  • the computer 10 estimates the weight of the animal (eg, the weight of the carcass) from the input image by executing the weight estimation program PG.
  • the above functions will be described in detail below.
  • FIG. 2 is a functional block diagram of the weight estimation device 100.
  • the weight estimation device 100 includes an image capturing unit 101, a display unit 102, an image acquisition unit 103, a shape specifying unit 104, a half body selection unit 105, an information generation unit 106, a carcass model storage unit 107, and a weight estimation unit 108.
  • NS When the CPU 11 executes the weight estimation program PG, each of the above functions is realized.
  • the image capturing unit 101 can capture an image of an animal. Specifically, the image capturing unit 101 is fixed at a specific position when viewed from the user, and can photograph an animal located in the line-of-sight direction of the user. For example, the depth camera 30 functions as an image capturing unit 101.
  • the display unit 102 can display various images including the image captured by the image capturing unit 101 (see FIG. 7A described later). For example, the head-mounted display 20 functions as a display unit 102.
  • the image acquisition unit 103 acquires an image of an animal (see FIG. 3B described later). Specifically, the image captured by the image capturing unit 101 includes an image such as a background in addition to an animal image. The image acquisition unit 103 acquires an image representing one animal extracted from the image captured by the image acquisition unit 101. The image of the animal acquired by the image acquisition unit 103 is used to estimate the weight of the animal.
  • the image acquisition unit 103 of the present embodiment acquires an animal image from the image captured by the image capturing unit 101 by the area expansion method. Specifically, the image acquisition unit 103 specifies one pixel as a seed pixel in the image captured by the image capturing unit 101. Of the images (objects) included in the images captured by the image capturing unit 101, the image acquisition unit 103 acquires an image in which each pixel constituting itself includes a seed pixel. In the above configuration, by specifying any of the pixels constituting the image of the animal as seed pixels, the image of the animal is extracted and acquired from the image taken by the image capturing unit 101.
  • the image acquisition unit 103 when the image acquisition unit 103 identifies the seed pixel, it attaches a predetermined label to the seed pixel.
  • the image acquisition unit 103 assigns a common label to the pixels in the vicinity of the seed pixels that satisfy the predetermined conditions. Further, a pixel in the vicinity of a pixel to which a common label is given is also given the label if the above conditions are satisfied. The above processing is repeated until there are no more pixels to be labeled.
  • the image acquisition unit 103 acquires an image composed of each pixel with a common label as an animal image. The method for specifying the seed pixel will be described in detail with reference to FIGS. 7 (a) to 7 (c) described later.
  • the image of the animal acquired by the image acquisition unit 103 may be referred to as an "animal image”.
  • the magnitude of the tilt in the photographing direction with respect to the vertical direction detected by the tilt sensor described above may be described as "tilt information”.
  • the weight estimation device 100 stores the tilt information at the time of taking the animal image in correspondence with the animal image. The above tilt information is used when adjusting (correcting) the orientation of the animal image.
  • the shape specifying unit 104 specifies the shape of a predetermined part of the animal from the animal image.
  • the shape specifying portion 104 of the present embodiment specifies the shape of the back muscle of the animal as a predetermined portion.
  • the shape of the back muscle of an animal is simply referred to as a "back muscle curve". Specific examples of the method for specifying the back muscle curve will be described in detail with reference to FIGS. 4 (a) and 4 (b) described later.
  • the half body selection unit 105 selects one of the right half body located on the right side of the back muscle and the left half body located on the left side as the specific half body when viewed from the animal. Although the details will be described later, the entire animal may not be photographed depending on the photographing direction. In the above case, an animal image showing an animal lacking a part of the body is generated (see FIG. 3B). For example, when an animal is photographed from the right side of the body, an animal image showing an animal in which a part (or all) of the left side of the body is missing is generated.
  • the half-body selection unit 105 selects a half-body in which a wider area is photographed as a specific half-body among each half-body of the animal.
  • the information generation unit 106 generates estimation information used for estimating the weight of an animal based on the spine curve (shape of a predetermined portion).
  • the estimation information of this embodiment includes the whole image GW shown in FIG. 5D, which will be described later.
  • the whole image GW is an image representing the whole animal, and is generated (estimated) from an animal image (an image in which a part of the animal is missing) acquired by the image acquisition unit 103. Specifically, an image representing the above-mentioned specific half body (half body image described later, see FIG. 5C) is generated from the animal image, and an entire image GW is generated from the image representing the specific half body.
  • the carcass model storage unit 107 stores the carcass model image GM (see FIG. 6A described later).
  • the carcass model image GM is an image showing the whole animal as well as the whole image GW.
  • the carcass model image GM is an image of an animal from which parts (internal organs, etc.) not included in the carcass have been removed.
  • the above carcass model image GM can be obtained, for example, by CT (Computed Tomography) imaging of an animal having a standard body shape.
  • the weight estimation unit 108 estimates the weight of the animal from the whole image GW (information for estimation) of the animal. Specifically, the average density (kg / m 3 ) of carcasses of animals is stored in advance in the weight estimation device 100.
  • the average density of carcasses stored in the weight estimation device 100 can be determined from, for example, each measured value obtained in each experiment by repeating an experiment in which the average density of carcasses of an animal is actually measured. For example, the average value of each measurement value of each experiment can be determined as the average density.
  • the carcass model image GM is fitted (enlarged / reduced) so that the outer edge of the carcass model image GM matches the outer edge of the entire image GW.
  • the weight estimation unit 108 estimates the product of the volume of the fitted carcass model image GM and the average density of the carcasses of the animal as the weight for the animal.
  • the configuration in which the "weight of the carcass of the animal” is estimated as the "weight related to the animal” of the present invention is adopted.
  • a configuration in which an value other than the "weight of the carcass of the animal” is estimated as the “weight related to the animal” may be adopted.
  • a configuration in which "the weight of an animal including internal organs” (living weight) is estimated as "the weight of an animal” can be considered.
  • the living weight of an animal for example, a pig
  • a body weight formula see, for example, Japanese Patent Application Laid-Open No. 2019-45478.
  • the above body weight formula shows the relationship between body weight, body length and chest circumference, and is obtained experimentally.
  • the body length and chest circumference of the animal are specified from the whole image GW. Therefore, the weight estimation unit 108 can calculate (estimate) the living weight of the animal using the body weight formula based on the body length and the chest circumference specified from the whole image GW.
  • both the biological weight of the animal and the weight of the carcass may be estimated.
  • FIGS. 3 (a to c), 4 (a, b), 5 (a to d), 6 (a to c, d-1 to d-3) and 7 (a to c) are shown.
  • a specific example of the operation of the weight estimation device 100 will be described with reference to it.
  • an example of "pig” will be described as the animal A whose weight is estimated, but the animal whose weight is estimated is not limited to "pig".
  • the weight of an animal such as a "cow” or a "dolphin” may be estimated.
  • FIG. 3A is a diagram for explaining a specific example of the shooting direction Sc.
  • the vertical direction Sv is indicated by an arrow.
  • the photographing direction Sc in the specific example of FIG. 3A is a direction intersecting the vertical direction Sv.
  • a specific example is assumed in which the animal A is photographed by the image capturing unit 101 (depth camera 30) from the upper left direction when viewed from the animal A.
  • FIG. 3B is a diagram for explaining a specific example of the animal image GA.
  • the animal image GA is a three-dimensional image displayed in the XYZ space.
  • An animal image GA can be obtained by executing the curved surface approximation process a plurality of times on the image captured by the image capturing unit 101.
  • the animal image GA is rotated so that the vertical direction in the real space coincides with the Z-axis direction in the XYZ space based on the tilt information at the time of shooting. Further, the animal image GA is rotated so that the longitudinal direction coincides with the Y-axis direction. Specifically, the animal image GA is rotated so that the animal's head faces the positive direction of the Y-axis.
  • the animal image GA is a point cloud image (point cloud data). Therefore, for example, the orientation of the animal head in the animal image GA can be specified by using principal component analysis.
  • the configuration described in JP-A-2014-44078 can be adopted.
  • the animal image GA represents an animal that is partially deficient.
  • an animal image GA in the case where the animal A is photographed from the upper left direction when viewed from the animal A (similar to the specific example of FIG. 3A) is assumed.
  • the animal image GA represents an animal in which the lower part of the right half of the body is missing.
  • the animal image GA represents an animal in which the back side of the boundary portion L is missing when viewed in the photographing direction Sc.
  • the carcass model image GM is an image showing the whole animal (however, excluding internal organs and the like) (see FIG. 6 (a) described later).
  • the weight of the carcass is estimated by matching the outer edge of the carcass model image GM with the outer edge of the animal image GA (hereinafter referred to as "inverse proportion X").
  • inverse proportional X when the body part of the animal represented by the animal image GA is missing, the outer edges of each image cannot be accurately matched, and it may be difficult to estimate the weight of the carcass with high accuracy. ..
  • the weight estimation device 100 of the present embodiment adopts a configuration capable of generating (estimating) the entire image GW from the animal image GA.
  • the whole image GW represents the whole animal. Therefore, by matching the outer edge of the carcass model image GM with the outer edge of the overall image GW and estimating the weight of the carcass, the above-mentioned inconvenience is suppressed as compared with the inverse proportion X.
  • the above configuration will be described in detail below.
  • FIG. 4 (a) and 4 (b) are diagrams for explaining a configuration (shape specifying portion 104) for specifying the spine curve S.
  • FIG. 4A assumes a case where the animal image GA is viewed from the Z-axis direction, as in FIG. 3C. Further, FIG. 4A shows a plurality of vertices P (including Pn) constituting the spine curve S. By specifying the coordinates of each vertex P, the spine curve S is substantially specified.
  • FIG. 4B shows a cross section of the animal image GA parallel to the Y-axis and the Z-axis (parallel to the YZ plane). Specifically, the cross section shown in FIG. 4B assumes the case where the animal image GA is cut at the position where the X coordinate is the numerical value “n” (see also FIG. 4A).
  • FIG. 4B shows an excerpt of an animal image GA portion (outer edge) representing the surface of the back of the animal from each part of the animal.
  • Each vertex P constituting the spine curve S of the animal is usually the point (vertex of the cross section) whose Z coordinate is the largest among the cross sections parallel to the YZ plane of the animal image GA. Therefore, the weight estimation device 100 identifies the apex of the cross section of the animal image GA as the apex P constituting the spine curve S.
  • the coordinates of the vertices of the cross section parallel to the YZ plane whose X coordinate is the numerical value "n" are (n, m, Zmax).
  • the coordinates (n, m, Zmax) are specified as the coordinates of the vertex P.
  • the back muscle curve S is specified.
  • 5 (a) to 5 (d) are diagrams for explaining a configuration (information generation unit 106) that generates an overall image GW (information for estimation) based on the spine curve S. 5 (a) to 5 (d) assume the case where the animal image GA is viewed from the Z-axis direction, as in the case of FIGS. 3 (c) and 4 (a).
  • FIG. 5A is a diagram for explaining a specific example of the animal image GA used for generating the whole image GW.
  • the weight estimation device 100 generates the entire image GW by executing the straightening process, the excision process, the selection process, and the generation process on the animal image GA.
  • FIG. 5A shows an excerpt of the round slice image Gc4 from the round slice image Gc1 from each of the above round slice images Gc.
  • the round slice image Gc1 is an image including the apex P1 of the spine curve S.
  • the round slice image Gc2 is an image including the apex P2 of the spine curve S
  • the round slice image Gc3 is an image including the apex P3 of the spine curve S
  • the round slice image Gc4 is an image of the spine curve S. It is an image including the vertex P4.
  • each round slice image Gc constituting the animal image GA includes a round slice image Gc that is not parallel to the YZ plane.
  • the weight estimation device 100 of the present embodiment executes a linearization process on the above animal image GA.
  • FIG. 5B is a diagram for explaining a specific example of the animal image GA in which the linearization process has been executed.
  • the specific example of FIG. 5 (b) assumes a case where the linearization process is executed on the animal image GA of FIG. 5 (a).
  • the directions of all the round slice images Gc of the animal image GA are parallel to the YZ plane, and the spine curve S seen from the Z axis direction is parallel to the Y axis direction.
  • the position and orientation are adjusted.
  • it is sufficient that the spine curve S viewed from the Z-axis direction is adjusted parallel to the Y-axis direction, and the specific content is not limited to the above examples.
  • the weight estimation device 100 (half body selection unit 105) executes the selection process.
  • the selection process one of the right and left halves of animal A is selected as the specific halves.
  • the animal image GA is cut into two images (an image showing the right half of the body and an image showing the left half of the body) in the Z-axis direction along the back muscle curve S.
  • the selection process of the above two images, the half body represented by the larger image is selected as the specific half body.
  • the selection process is executed for the animal image GA shown in FIG. 5 (b).
  • the animal image GA substantially the entire left half of the animal A is represented.
  • FIG. 5B the portion of the right half of the body of animal A on the right side of the boundary portion L as viewed from animal A is not represented (missing) in the animal image GA.
  • the left half of the body is selected as the specific half of the body.
  • the weight estimation device 100 executes the excision process on the animal image GA.
  • FIG. 5C is a diagram for explaining a specific example of the animal image GA in which the excision process has been executed.
  • the excision process of each half of the animal A, the portion representing the half body not selected for the above-mentioned specific half body is excised from the animal image GA.
  • the animal image GA for which the excision process has been performed may be referred to as "half-body image Gax".
  • a half-body image Gax is assumed when the excision process is executed on the animal image GA shown in FIG. 5 (b).
  • the half-body image Gax is an image showing the left half of the animal A.
  • the cross section generated by the excision process may be described as "cross section Lx".
  • the cross section Lx is substantially parallel to the XZ plane.
  • the outer edge of the cross section Lx includes the entire spine curve S.
  • the weight estimation device 100 executes the generation process after executing the excision process.
  • the whole image GW is generated by the above generation processing.
  • FIG. 5D is a diagram for explaining the entire image GW generated by the generation process.
  • the entire image GW is generated from the half-body image Gax shown in FIG. 5 (c). That is, it is assumed that the whole image GW is generated from the half-body image Gax representing the left half of the animal A.
  • the weight estimation device 100 when the weight estimation device 100 generates the whole image GW from the half-body image Gax representing the specific half-body of the animal A, the weight estimation device 100 specifies an image (hereinafter referred to as "half-body image Gay") that is in contrast to the half-body image Gax. It is generated as an image showing the half body on the opposite side of the half body.
  • the image obtained by combining the above half-body image Gax and the half-body image Gay is stored as the whole image GW.
  • the half-body image Gax shown in FIG. 5 (c) represents the left half of the animal A.
  • the half-body image Gay representing the right half of the animal A is generated.
  • the half-body image Gay is a face contrast with the half-body image Gax with respect to a plane passing through the cross section Lx of the half-body image Gax and parallel to the XZ plane.
  • the half-body image Gay includes a cross section Ly.
  • the cross-section Ly of the half-body image Gay is substantially congruent with the cross-section Lx of the half-body image Gay.
  • the half-body image Gay is generated at a position where the cross-section Ly substantially coincides with the cross-section Lx of the half-body image Gax.
  • FIG. 5D is a specific example of the entire image GW when the left half of the animal A is selected as the specific half.
  • the animal image GA taken from the left half body side of the animal A is acquired, the left half body of the animal A is selected as the specific half body.
  • the animal image GA taken from the right half body side of the animal A is acquired, the right half body of the animal A can be selected as the specific half body.
  • a half-body image Gax showing the right half of the animal A is generated. Further, in the above case, a half-body image Gay representing the left half-body is generated from the half-body image Gax. That is, the half-body image Gay representing the left half of the body is estimated from the half-body image Gax representing the right half of the animal A, and the whole image GW representing the entire animal A is generated.
  • the second direction for example, the right half body side
  • the whole image GW is generated even when the animal is photographed.
  • the weight related to the animal is estimated from the whole image GW. That is, according to the present embodiment, the weight related to the animal can be estimated regardless of whether the animal is photographed from either the first direction or the second direction.
  • the above configuration has an advantage that the degree of freedom in the imaging direction is improved as compared with the configuration in which the weight related to the animal can be estimated only from the image of the animal captured from, for example, a specific one direction.
  • the case where an image of an animal in the posture in which the back muscle curve has the first shape (first posture) is acquired and the case where the back muscle curve has the second shape are obtained.
  • the spine curve can be straightened when viewed from the Z-axis direction in either case where an image of an animal in a posture (second posture) is acquired. That is, the whole image GW (estimation information) is generated regardless of the posture of the animal, and the weight of the animal can be estimated. Therefore, for example, a posture in which the weight related to the animal can be estimated from the image of the animal in the first posture, but the weight related to the animal cannot be estimated from the image of the animal in the second posture. There is an advantage that the degree of freedom is improved.
  • 6 (a) to 6 (c) and 6 (d-1) to 6 (d-3) show specific examples of the configuration (weight estimation unit 108) for calculating the weight of the carcass of animal A. It is a figure for doing.
  • the weight estimation device 100 calculates (estimates) the weight of the carcass of the animal A by executing the weight estimation process.
  • FIG. 6A is a conceptual diagram of the carcass model image GM.
  • the carcass model image GM is an image showing the whole animal.
  • the carcass model image GM is an image of an animal from which parts (internal organs, etc.) not included in the carcass have been removed.
  • the carcass model image GM is an image (standardized image) of an animal having a straight spine curve, similarly to the whole image GW.
  • the carcass model image GM of the present embodiment includes the model image Gm1 to the model image Gm7. Each model image Gm corresponds to any part of the whole image GW.
  • FIG. 6C is diagrams for explaining a portion of the entire image GW corresponding to the model image Gm.
  • the portion of the entire image GW corresponding to the model image Gm1 is described as “partial image Gw1”.
  • the part of the whole image GW corresponding to the model image Gm2 is "partial image Gw2”
  • the part of the whole image GW corresponding to the model image Gm3 is “partial image Gw3”
  • the part of the whole image GW corresponding to the model image Gm5 is the "partial image Gw5"
  • the part of the whole image GW corresponding to the model image Gm6 is the "partial image Gw6”
  • the part of the whole image GW corresponding to the model image Gm7 is the whole.
  • the part of the image GW is described as "partial image Gw7”.
  • the model image Gm is fitted (enlarged or reduced) according to the partial image Gw to which the model image Gm corresponds. Specifically, the model image Gm is fitted so that the outer edge of the model image Gm coincides with the outer edge of the partial image Gw.
  • the carcass model image GM is composed of seven model images m, but the carcass model image GM may be composed of more than seven model images m, or less than seven model images m. It may be composed of.
  • 6 (d-1) to 6 (d-3) are diagrams for explaining a specific example in the case of fitting the carcass model image GM to the whole image GW.
  • the model image Gm4 of each model image Gm is fitted.
  • the partial image Gw4 assumes that the height in the Z-axis direction is Zw and the width in the Y-axis direction is Yw.
  • the model image Gm4 assumes that the height in the Z-axis direction is Zm and the width in the Y-axis direction is Ym.
  • the weight estimation device 100 enlarges the model image Gm4 so that the height in the Z-axis direction is Zw and the width in the Y-axis direction is Yw (in some cases). Shrinks).
  • the weight estimation device 100 specifies (calculates) the vertical magnification "Zw / Zm” and the horizontal magnification "Yw / Ym” by pattern matching with the cross section of the carcass model image GM using the shape of the partial image Gw4. )do. Further, the weight estimation device 100 changes the height of the model image Gm4 according to the vertical magnification "Zw / Zm", and changes the width of the model image Gm4 according to "Yw / Ym".
  • the weight estimation device 100 calculates the volume of the carcass model image Gm after finishing the fitting of the carcass model image GM (all model images Gm). Further, the weight estimation device 100 estimates the product of the volume of the carcass model image GM after fitting and the average density of the carcasses of the animal as the weight of the carcasses of the animal.
  • the weight estimation device 100 of the present embodiment displays the estimated weight of the carcass on the display unit 102 (head-mounted display 20).
  • FIG. 7 (a) to 7 (b) are diagrams for explaining various images displayed on the display unit 102.
  • the display unit 102 of the present embodiment is a head-mounted display, and the user can check the scenery actually viewed and the screen of the display unit 102 at once.
  • FIG. 7A is a simulated view of the screen M1 displayed before the weight estimation process is executed.
  • the image captured by the image capturing unit 101 is displayed on the display unit 102 in real time. Further, the shooting direction of the image shooting unit 101 substantially coincides with the line-of-sight direction of the user.
  • the specific example of FIG. 7A assumes a case where the animal A is located below the center of the user's visual field (hereinafter referred to as “visual field center”).
  • the animal image GA is displayed below the center of the screen M1.
  • the animal B is located on the upper right side of the center of the visual field of the user
  • the animal image GB is displayed on the upper right side of the center of the screen M1.
  • the animal image GA is extracted and acquired from the image (hereinafter referred to as “landscape image”) taken by the image capturing unit 101.
  • the animal image GA is specified from the landscape image by the region expansion method, and the animal image GA is acquired.
  • the region expansion method it is necessary to specify the pixels included in the animal image GA as seed pixels.
  • the method for specifying the seed pixel will be described in detail.
  • the screen M1 includes a point image GP.
  • the point image GP is fixedly displayed on the screen M1. That is, among the images displayed on the screen M1, the landscape image changes (moves) according to the shooting direction (user's visual field direction), but the position of the point image GP on the screen M1 moves according to the shooting direction. do not.
  • the pixels of the landscape image (including the animal image GA) in which the point image GP is located are specified as seed pixels. Therefore, for example, when estimating the weight of the animal A, the shooting direction (the line-of-sight direction of the user) is changed so that the point image GP is located at the animal image GA. For example, in the specific example of FIG. 7A, the weight of the animal A is increased by moving the line-of-sight direction of the user (moving the line-of-sight downward) so that the animal image GA moves in the direction of the arrow Y. Presumed.
  • FIG. 7B is a simulated view of the screen M2 displayed during the execution of the weight estimation process.
  • the screen M2 is displayed immediately after the animal image GA is identified by, for example, the region expansion method.
  • the screen M2 is configured to include a landscape image including an animal image GA and a point image GP, similarly to the screen M1.
  • the weight estimation process is executed according to the shooting operation of the user. Specifically, when a shooting operation is performed on the weight estimation device 100, an animal image in which the point image GP is located at the time of the shooting operation is acquired, and the weight estimation process is executed.
  • the trigger for executing the weight estimation process can be set as appropriate.
  • the weight estimation process may be automatically executed when the point image GP moves onto the animal image GA.
  • FIG. 7C is a simulated view of the screen M3 displayed immediately after the weight estimation process is completed.
  • the screen M3 is configured to include the animal image GA as well as the screen M1 and the screen M2.
  • the screen M3 is configured to include a weight image Gn.
  • the weight image Gn displays the weight of the carcass calculated by the above-mentioned weight estimation process. For example, in the specific example of FIG. 7C, it is assumed that the weight of the carcass is estimated to be "75 kg".
  • the weight image Gn is displayed superimposed on the animal image (GA in the example of FIG. 7 (c)) used for estimating the weight.
  • the weight-estimated animal animal image used in the weight estimation process
  • the position where the weight image Gn is displayed can be changed as appropriate.
  • the body weight (living body weight) of the whole animal may be estimated.
  • the body weight is displayed on the weight image Gn.
  • a configuration in which both the biological weight of the animal and the weight of the carcass are estimated is adopted, a configuration in which both the biological weight and the weight of the carcass are displayed on the weight image Gn is preferable.
  • the point image GP is hidden when the weight end processing is completed. That is, when the weight image Gn is displayed, the point image GP is hidden.
  • the inconvenience that the point image GP and the weight image Gn overlap and the weight image Gn becomes difficult to see in the point image GP is suppressed.
  • the point image GP may be continuously displayed when the weight end processing is completed.
  • FIG. 8A is a flowchart of the weight estimation control process executed by the weight estimation device 100.
  • the weight estimation device 100 executes the weight estimation control process at a predetermined time interval (interrupt cycle), for example. However, the execution trigger of the weight estimation control process can be changed as appropriate.
  • the weight estimation device 100 executes the image acquisition process (S101).
  • the image acquisition process an animal image is acquired from a distance image (a landscape image including an animal image) taken according to the shooting operation.
  • a distance image a landscape image including an animal image
  • the above-mentioned region expansion method is used.
  • the animal image is converted into real coordinates (XYZ coordinates).
  • the weight estimation device 100 executes the curved surface approximation process (S102).
  • the surface of animals such as pigs is usually smooth.
  • the surface of the animal image acquired in step S102 is approximated (fitted) to a smooth curved surface. The details of the curved surface approximation processing will be described later with reference to FIG. 8 (b).
  • the weight estimation device 100 executes the rotation correction process (S103).
  • the rotation correction process the orientation of the animal image in the Z-axis direction is adjusted (rotated) using the above-mentioned tilt information. Further, in the rotation correction process, the orientation of the animal image in the XY plane (horizontal plane) is adjusted by using the above-mentioned principal component analysis.
  • the weight estimation device 100 executes the spine identification process (S104).
  • the back muscle identification process the back muscle curve in the animal image is specified (see FIG. 4A).
  • the weight estimation device 100 executes the linearization process (S105). In the straightening process, the animal image is adjusted (deformed) so that the spine curve becomes a straight line when viewed from the Z-axis direction (see FIG. 5 (b)).
  • the weight estimation device 100 executes the selection process (S106).
  • the selection process assuming that the animal image GA is cut into two images in the Z-axis direction by the spine curve, the half body represented by the larger image of the two images is selected as the specific half body. ..
  • the weight estimation device 100 executes the excision process (S107). In the above excision process, the portion representing the half body not selected as the specific half body is excised from the animal image (see FIG. 5C). After executing the excision process, the weight estimation device 100 executes the generation process (S108). In the generation process, the whole image GW is generated from the animal image (half-body image) (see FIG. 5D).
  • the weight estimation device 100 executes the weight estimation process (S109).
  • the weight of the carcass of the animal is estimated (calculated) from the whole image GW generated by the above-mentioned generation process.
  • the carcass model image GM was fitted so that the outer edge of the overall image GW coincided with the outer edge of the carcass model image GM (see FIGS. 6 (d-1) to 6 (d-3)) and fitted.
  • the volume of the carcass model image GM is obtained. Further, the product of the average density stored in advance and the volume of the carcass model image GM is calculated as the weight of the carcass.
  • the weight estimation device 100 After executing the weight estimation process, the weight estimation device 100 causes the display unit 102 to display the weight image Gn (see FIG. 7C) (S110). After displaying the weight image Gn, the weight estimation device 100 returns the process to step S101.
  • FIG. 8B is a flowchart of the curved surface approximation process (S102 in FIG. 8A).
  • the weight estimation device 100 executes the first approximation process (S201).
  • the first approximation process polynomial approximation function curve fitting using the least squares method is executed with each point constituting the surface of the animal image (point cloud image) as a sample point.
  • the curved surface fitting method is not limited to the polynomial approximation function curved surface fitting, and an appropriate method can be adopted.
  • the animal image of the animal whose weight is estimated may include an image representing another animal (hereinafter referred to as "noise image"). If the animal image for estimating the weight includes a noise image, the inconvenience that the weight is not estimated accurately may occur.
  • the weight estimation device 100 deletes an image not included in the approximate curved surface representing the surface of the animal to be photographed as a noise image after executing the first approximation process (S202). That is, a point cloud deviating from one approximate curved surface representing the surface of the animal to be photographed is deleted as a point cloud representing another animal or the like. With the above configuration, the above-mentioned inconvenience is suppressed.
  • the weight estimation device 100 executes the second approximation process (S203).
  • the polynomial approximation function curve fitting is executed on the animal image as in the first approximation process.
  • the polynomial approximation function curve fitting is executed using a higher-order polynomial as compared with the first approximation process.
  • the surface of the animal to be photographed is extracted with higher accuracy than in the first approximation processing. Therefore, if the noise image cannot be completely deleted in step S202, the noise image is extracted in the second approximation process as an image different from the surface of the animal to be photographed.
  • the weight estimation device 100 deletes the noise image after executing the second approximation process (S204).
  • the noise image is deleted from the animal image with high accuracy as compared with the configuration in which only the first approximation processing is executed out of the first approximation processing and the second approximation processing. Therefore, there is an advantage that the weight of the animal to be photographed is estimated with high accuracy.
  • the configuration may be such that only the second approximation process of the first approximation process and the second approximation process is executed (hereinafter, “inverse proportion Y”).
  • inverse proportion Y the processing load of the second approximation process tends to be larger than the processing load of the first approximation process.
  • the noise image is finally deleted. From the above circumstances, there is a circumstance that the smaller the noise image to be subjected to the second approximation processing, the more suitable it is.
  • the first approximation process is executed prior to the second approximation process, and the noise image extracted by the first approximation process is deleted. Therefore, there is an advantage that the noise image to be the target of the second approximation processing can be made smaller as compared with the inverse proportional Y.
  • the shape of the defective animal part is estimated in the animal image, and the whole image GW is generated.
  • the possibility of an error between the estimated shape and the actual shape cannot be completely ruled out. That is, an error may occur between the shape of the animal represented by the whole image GW and the shape of the actual animal. Therefore, if an animal image showing the entire back of an animal can be taken, the whole image GW is better when the carcass model image GM is fitted based on the animal image (an image showing the actual shape of the animal).
  • the carcass model image GM is fitted based on (an image showing the estimated shape of the animal)
  • there is a circumstance that the weight related to the animal can be easily estimated with high accuracy.
  • the weight estimation device 100 of the second embodiment fits the carcass model image GM based on the animal image when the animal image representing the entire back of the animal can be captured.
  • the carcass model image GM is fitted based on the whole image GW.
  • the weight estimation device 100 of the second embodiment acquires an animal image, it determines whether or not the animal has been photographed from the vertical direction based on the above-mentioned inclination information. Specifically, when the tilt information is within a predetermined range (0 degree ⁇ ⁇ ), it is determined that the animal was photographed from the vertical direction. On the other hand, if the tilt information is out of the range, it is determined that the animal was not photographed from the vertical direction. When an animal is photographed from the vertical direction, it is presumed that the animal image includes an image showing the entire back.
  • the carcass model image GM is fitted based on the animal image to estimate the weight of the animal.
  • the weight estimation device 100 determines that the animal has not been photographed from the vertical direction, the weight estimation device 100 generates an overall image GW from the animal image (similar to the first embodiment). Further, the weight estimation device 100 fits the carcass model image GM based on the whole image GW to estimate the weight related to the animal.
  • the weight related to the animal can be estimated as in the first embodiment. Further, when it is determined that the animal is photographed from the vertical direction, the carcass model image GM is fitted based on the animal image. Therefore, the effect of being able to estimate the weight of an animal with high accuracy is particularly remarkable.
  • a configuration is adopted in which whether the carcass model image GM is fitted based on the animal image or the carcass model image GM is fitted based on the whole image GW is automatically selected.
  • the shape of the animal image may be confirmed by the user, and the user may (manually) select the shape according to the shape of the animal image.
  • the weight estimation device (100) of this embodiment includes an image acquisition unit (101) that acquires an image of an animal, a shape identification unit (104) that specifies the shape (back muscle curve) of a predetermined part of the animal from the image, and a predetermined part.
  • An information generation unit (106) that generates estimation information (overall image GW) used for estimating the weight of an animal based on the shape of the animal, and a weight estimation unit (108) that estimates the weight based on the estimation information.
  • the information generation unit can generate estimation information when a first image (animal image GA) obtained by photographing an animal from a first direction (for example, the left half of the body side) is acquired.
  • the predetermined part of the animal is the back muscle of the animal, and one of the right half body located on the right side and the left half body located on the left side of the back muscle when viewed from the animal is specified as a specific half body.
  • the half-body selection unit (105) is provided, and the information generation unit estimates the shape of the half-body that is not selected for the specific half-body from the shape of the specific half-body (see FIG. From the shape of the specific half body, information indicating the shape of the entire animal can be generated as estimation information (see FIG. 5D). According to the above aspect, the same effect as that of the above-mentioned first aspect can be obtained.
  • the weight estimation device of the third aspect includes an information storage unit that stores carcass model information (carcass model image GM) indicating the shape of the carcass, and the weight estimation unit responds to the shape of the animal indicated by the estimation information. Based on the carcass shape indicated by the deformed carcass model information, the weight of the carcass of the animal is estimated (see FIGS. 6 (d-1) to 6 (d-3)).
  • carcass model information carcass model image GM
  • the information generation unit generates estimation information when a third image of an animal in the first posture (posture in which the spine curve has the first shape) is acquired.
  • a fourth image of an animal in a second posture a posture in which the spine curve has a second shape
  • the weight of the animal can be estimated from the image of the animal in the first posture, but the weight of the animal cannot be estimated from the image of the animal in the second posture. It has the advantage of increasing the degree of freedom of posture in which the weight of the animal can be estimated.
  • the weight estimation device (100) of the fifth aspect has an image capturing unit (101) that can be fixed at a specific position when viewed from the user and can photograph an animal located in the line-of-sight direction of the user, and an image capturing unit. It is provided with a display unit (102) which is a head-mounted display capable of displaying an image captured by the image acquisition unit, and the image acquisition unit acquires an image captured by the image acquisition unit. According to the above aspect, there is an advantage that it is not necessary to hold an image capturing unit in the hand when photographing an animal. Further, in the weight estimation device of the sixth aspect, the image acquisition unit acquires a distance image including information indicating the distance to the animal.
  • the program of this aspect includes an image acquisition process (S101 in FIG. 8A) for acquiring an image of an animal on a computer (10) and a shape for specifying the shape of a predetermined part of the animal from the image.
  • Specific processing S104 in FIG. 8A
  • information generation processing S108 in FIG. 8A
  • a program that executes a weight estimation process S109 in FIG. 8A) that estimates the weight based on information. In the information generation process, a first image of an animal taken from a first direction is acquired.
  • 100 ... Weight estimation device, 101 ... Imaging unit, 102 ... Display unit, 103 ... Image acquisition unit, 104 ... Shape identification unit, 105 ... Half body selection unit, 106 ... Information generation unit, 107 ... Carcass model storage unit, 108 ... Weight estimation unit.

Abstract

動物に関する重量が推定可能となる撮影方向の自由度が向上する重量推定装置を提供する。動物の画像を取得する画像取得部と、画像から動物の所定部位の形状を特定する形状特定部と、所定部位の形状に基づいて、動物に関する重量の推定に用いる推定用情報を生成する情報生成部と、推定用情報に基づいて、重量を推定する重量推定部と、を具備する構成において、情報生成部は、第１方向（例えば、左半身側）から動物を撮影した第１画像（動物画像ＧＡ）が取得された場合と、第１方向と相違する第２方向（例えば、右半身側）から動物を撮影した第２画像が取得された場合と何れであっても、推定用情報を生成可能である。

Description

重量推定装置及びプログラム
　本発明は、重量推定装置及びプログラムに関する。
　従来、家畜などの動物の体重は、体重計により計測される。しかし、体重計の上で動物が静止しない場合、体重が正確に計測されない問題があった。この問題を解決する構成として、特許文献１には、予め定められた撮影方向から動物を撮影し、撮影された画像から当該動物の体重を計測（推定）する構成が記載される。以上の構成によれば、体重計の上で動物を静止させる必要がないため、上述の問題が抑制される。
特開２０１４－４４０７８公報
　しかし、特許文献１の構成では、動物の体重が推定できる撮影方向の自由度が低いという問題があった。具体的には、特許文献１の構成では、第１方向（真上方向）から動物を撮影した場合のみ当該動物の体重が推定でき、第１方向とは相違する第２方向から撮影した場合は当該動物の体重を推定できない。以上の事情を考慮して、本発明は、動物に関する重量が推定可能となる撮影方向の自由度を向上することを目的とする。
　以上の課題を解決するために、本発明の重量推定装置は、動物の画像を取得する画像取得部と、画像から動物の所定部位の形状を特定する形状特定部と、所定部位の形状に基づいて、動物に関する重量の推定に用いる推定用情報を生成する情報生成部と、推定用情報に基づいて、重量を推定する重量推定部と、を具備し、情報生成部は、第１方向から動物を撮影した第１画像が取得された場合に推定用情報を生成可能であるとともに、第１方向と相違する第２方向から動物を撮影した第２画像が取得された場合にも推定用情報を生成可能である。
　以上の構成によれば、第１方向から動物を撮影した第１画像が取得された場合に当該動物に関する重量が推定可能であるとともに、第１方向と相違する第２方向から動物を撮影した第２画像が取得された場合にも当該動物に関する重量が推定できる。したがって、特許文献１の構成と比較して、動物に関する重量が推定可能となる撮影方向の自由度が向上する。
　本発明によれば、動物に関する重量が推定可能となる撮影方向の自由度が向上する。
重量推定装置のハードウェア構成図である。 重量推定装置の機能ブロック図である。 動物画像を説明するための図である。 背筋曲線を特定するための構成を説明するための図である。 全体画像を生成するための構成を説明するための図である。 重量を推定するための構成を説明するための図である。 表示部に表示される画面を説明するための図である。 重量推定制御処理のフローチャートである。
＜第１実施形態＞
　図１は、重量推定装置１のハードウェア構成図である。図１に示す通り、重量推定装置１は、コンピュータ１０、ヘッドマウントディスプレイ２０およびデプス（深度）カメラ３０を含む。以上の各構成は、通信可能に接続される。
　コンピュータ１０は、ＣＰＵ（Central Processing Unit）１１、ＲＯＭ（Read Only Memory）１２、ＲＡＭ（Random access memory）１３およびＨＤＤ（Hard Disk Drive）１４を含んで構成される。本実施形態のコンピュータ１０は、持運び可能なコンピュータ（例えば、ノートパソコン）が採用される。ただし、ディスクトップパソコンをコンピュータ１０として採用してもよい。
　コンピュータ１０のＨＤＤ１４は、重量推定プログラムＰＧを含む各種のデータを記憶する。ＣＰＵ１１は、重量推定プログラムＰＧを実行することで、後述の各種の機能（重量推定部１０８など）を実現する。ＲＡＭ１３は、例えばＣＰＵ１１がプログラムを実行する際に参照する各種の情報を一時的に記憶する。また、ＲＯＭ１２は、各種の情報を不揮発的に記憶する。なお、重量測定プログラムＰＧがＨＤＤ１４以外に記憶される構成としてもよい。
　ヘッドマウントディスプレイ２０は、利用者の頭部に固定可能であり、周知なヘッドマウントディスプレイが適宜に採用され得る。例えば、ヘッドマウントディスプレイ２０として、小型液晶画面およびハーフミラーを含むものが採用され得る。以上の小型液晶画面は各種の画像を表示可能であり、小型液晶画面に表示された画像は、ハーフミラーに反射して利用者に視認される。以上の構成では、ハーフミラー越しに利用者が景色を見た場合、小型液晶画面に表示された画像が景色に重ねて視認される。ただし、ヘッドマウントディスプレイ２０は以上の例に限定されない。
　デプスカメラ３０は、被写体までの距離を示す深度情報を含む距離画像（３次元画像）を生成する。例えば、距離画像としては、ＬＩＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）技術により撮影された点群画像が想定される。また、デプスカメラ３０は、傾きセンサが設けられる。以上の傾きセンサは、鉛直方向に対する撮影方向の傾きの大きさを検出する。
　図１に示す通り、デプスカメラ３０は、ヘッドマウントディスプレイ２０に固定される。したがって、利用者がヘッドマウントディスプレイ２０を頭部に装着した際に、利用者から見て特定位置でデプスカメラ３０が固定される。具体的には、デプスカメラ３０は、撮影方向が利用者の視線方向に略一致する位置に固定される。
　以上の構成では、利用者が視認する景色がデプスカメラ３０で撮影される。したがって、利用者は、自身の視野内に動物が位置する様に、視線方向（顔の向き）を動かすことにより、当該動物を撮影できる。なお、デプスカメラ３０を利用者が手に持ち、動物の画像が撮影される構成を採用してもよい。ただし、以上の構成では、利用者が両手を自由に使えない。一方、本実施形態の構成では、利用者が両手を自由に使うことができるという利点がある。
　デプスカメラ３０で撮影された画像は、ヘッドマウントディスプレイ２０（小型液晶画面）に表示される。具体的には、デプスカメラ３０で撮影された画像は、リアルタイムでヘッドマウントディスプレイ２０に表示される。以上の構成では、デプスカメラ３０で撮影された画像をリアルタイムに利用者が確認可能である。ただし、デプスカメラ３０で撮影された画像がリアルタイムに表示されない構成を採用してもよい。
　デプスカメラ３０で撮影された動物の画像は、コンピュータ１０に入力される。コンピュータ１０は、重量推定プログラムＰＧを実行することにより、入力された画像から動物に関する重量（例えば、枝肉の重量）を推定する。以上の機能について、以下で詳細に説明する。
　図２は、重量推定装置１００の機能ブロック図である。重量推定装置１００は、画像撮影部１０１、表示部１０２、画像取得部１０３、形状特定部１０４、半身選択部１０５、情報生成部１０６、枝肉モデル記憶部１０７および重量推定部１０８を含んで構成される。ＣＰＵ１１が重量推定プログラムＰＧを実行することで、以上の各機能が実現される。
　画像撮影部１０１は、動物の画像を撮影可能である。具体的には、画像撮影部１０１は、利用者から見て特定位置で固定され、当該利用者の視線方向に位置する動物を撮影可能である。例えば、デプスカメラ３０が画像撮影部１０１として機能する。表示部１０２は、画像撮影部１０１が撮影した画像を含む各種の画像を表示可能である（後述の図７（ａ）参照）。例えば、ヘッドマウントディスプレイ２０が表示部１０２として機能する。
　画像取得部１０３は、動物の画像（後述の図３（ｂ）参照）を取得する。具体的には、画像撮影部１０１が撮影した画像には、動物の画像の他に背景などの画像が含まれる。画像取得部１０３は、画像撮影部１０１が撮影した画像から、１匹の動物を表す画像を抜粋して取得する。画像取得部１０３が取得した動物の画像は、当該動物に関する重量を推定するのに用いられる。
　本実施形態の画像取得部１０３は、画像撮影部１０１が撮影した画像から動物の画像を領域拡張法により取得する。具体的には、画像取得部１０３は、画像撮影部１０１が撮影した画像において、１個の画素を種子画素として特定する。画像撮影部１０１が撮影した画像に含まれる各画像（オブジェクト）のうち、自身を構成する各画素に種子画素が含まれる画像が画像取得部１０３により取得される。以上の構成では、動物の画像を構成する各画素の何れかを種子画素として特定することにより、画像撮影部１０１が撮影した画像から当該動物の画像が抜粋して取得される。
　より具体的には、画像取得部１０３は、種子画素を特定すると、所定のラベルを種子画素に付与する。画像取得部１０３は、種子画素の近傍の画素のうち、予め定められた条件を満たす画素に共通のラベルを付与する。また、共通のラベルが付与された画素の近傍の画素についても、上述の条件を満たす場合は当該ラベルが付与される。以上の処理は、ラベルを付与する画素が無くなるまで繰返される。画像取得部１０３は、共通のラベルが付与された各画素で構成される画像を、動物の画像として取得する。なお、種子画素の特定方法については、後述の図７（ａ）から図７（ｃ）を用いて詳細に説明する。
　以下、説明のため、画像取得部１０３が取得した動物の画像を「動物画像」と記載する場合がある。また、上述の傾きセンサが検出した鉛直方向に対する撮影方向の傾きの大きさを「傾き情報」と記載する場合がある。重量推定装置１００は、動物画像の撮影時における傾き情報を、当該動物画像に対応させて記憶する。以上の傾き情報は、動物画像の向きを調整（補正）する際に用いられる。
　形状特定部１０４は、動物画像から動物の所定部位の形状を特定する。本実施形態の形状特定部１０４は、所定部位として動物の背筋の形状を特定する。以下、動物の背筋の形状を単に「背筋曲線」という。背筋曲線の特定方法の具体例は、後述の図４（ａ）および図４（ｂ）を用いて詳細に説明する。
　半身選択部１０５は、動物から見て背筋より右側に位置する右半身および左側に位置する左半身のうちの一方を特定半身として選択する。詳細には後述するが、撮影方向によっては、動物全体が撮影されない場合がある。以上の場合、体の一部が欠損した動物を表す動物画像が生成される（図３（ｂ）参照）。例えば、右半身側から動物を撮影すると、左半身の一部（または全て）が欠損した動物を表す動物画像が生成される。半身選択部１０５は、動物の各半身のうち、より広範囲が撮影された半身を特定半身として選択する。
　情報生成部１０６は、背筋曲線（所定部位の形状）に基づいて、動物に関する重量の推定に用いる推定用情報を生成する。本実施形態の推定用情報には、後述の図５（ｄ）に示す全体画像ＧＷが含まれる。全体画像ＧＷは、動物全体を表す画像であり、画像取得部１０３が取得した動物画像（動物の一部が欠損した画像）から生成（推定）される。具体的には、動物画像から上述の特定半身を表す画像（後述の半身画像。図５（ｃ）参照）が生成され、当該特定半身を表す画像から全体画像ＧＷが生成される。
　枝肉モデル記憶部１０７は、枝肉モデル画像ＧＭ（後述の図６（ａ）参照）を記憶する。枝肉モデル画像ＧＭは、全体画像ＧＷと同様に、動物の全体を表す画像である。ただし、枝肉モデル画像ＧＭは、枝肉に含まれない部位（内蔵類など）を取り除いた動物の画像である。以上の枝肉モデル画像ＧＭは、例えば、標準的な体形の動物をＣＴ（Computed Tomography）撮影することにより得られる。
　重量推定部１０８は、動物の全体画像ＧＷ（推定用情報）から当該動物に関する重量を推定する。具体的には、動物の枝肉の平均密度（ｋｇ／ｍ３）が重量推定装置１００に予め記憶される。重量推定装置１００に記憶される枝肉の平均密度は、例えば、動物の枝肉の平均密度を実際に計測する実験を繰返し、各実験で得られた各計測値から決定され得る。例えば、各実験の各計測値の平均値が平均密度として決定され得る。
　また、全体画像ＧＷの外縁に枝肉モデル画像ＧＭの外縁が一致する様に、枝肉モデル画像ＧＭがフィッティング（拡大、縮小）される。重量推定部１０８は、フィッティングされた枝肉モデル画像ＧＭの体積と動物の枝肉の平均密度との積を、当該動物に関する重量として推定する。
　以上の通り、本実施形態では、本発明の「動物に関する重量」として「動物の枝肉の重量」が推定される構成を採用した。ただし、「動物に関する重量」として「動物の枝肉の重量」以外が推定される構成を採用してもよい。例えば、「動物に関する重量」として「内蔵等を含めた動物の体重」（生体重）が推定される構成が考えられる。
　具体的には、動物（例えば豚）の生体重は、体重式から求められることが知られている（例えば、特開２０１９－４５４７８号公報参照）。以上の体重式は、生体重、体長および胸囲の関係を示し、実験的に求められる。また、全体画像ＧＷからは、動物の体長および胸囲が特定される。したがって、重量推定部１０８は、全体画像ＧＷから特定した体長および胸囲に基づいて、体重式を用いて動物の生体重を算出（推定）できる。なお、動物の生体重および枝肉の重量の双方が推定される構成としてもよい。
　以下、図３（ａ～ｃ）、図４（ａ、ｂ）、図５（ａ～ｄ）、図６（ａ～ｃ、ｄ－１～ｄ－３）および図７（ａ～ｃ）を用いて、重量推定装置１００の動作の具体例を説明する。なお、以下で説明する具体例では、重量を推定する動物Ａとして「豚」の例を説明するが、重量が推定される動物は「豚」に限定されない。例えば、「牛」や「イルカ」などの動物に関する重量が推定される構成としてもよい。
　図３（ａ）は、撮影方向Ｓｃの具体例を説明するための図である。図３（ａ）には、鉛直方向Ｓｖが矢印で示される。図３（ａ）の具体例における撮影方向Ｓｃは、鉛直方向Ｓｖに交差する方向である。具体的には、動物Ａから見て左上方向から当該動物Ａが画像撮影部１０１（デプスカメラ３０）により撮影される具体例を想定する。
　図３（ｂ）は、動物画像ＧＡの具体例を説明するための図である。図３（ｂ）に示す通り、動物画像ＧＡは、ＸＹＺ空間に表示される３次元画像である。画像撮影部１０１が撮影した画像に対して、曲面近似処理を複数回実行することで、動物画像ＧＡが得られる。
　動物画像ＧＡは、撮影された時点における傾き情報に基づいて、実空間における鉛直方向がＸＹＺ空間におけるＺ軸方向に一致する様に回転される。また、動物画像ＧＡは、長手方向がＹ軸方向と一致する様に回転される。具体的には、動物の頭部がＹ軸の正の方向を向く様に動物画像ＧＡが回転される。動物画像ＧＡは、点群画像（点群データ）である。したがって、例えば、主成分分析を用いて、動物画像ＧＡにおける動物の頭部の向きが特定できる。なお、動物画像ＧＡの向きを調整する構成としては、例えば、特開２０１４－４４０７８号公報に記載の構成が採用され得る。
　ところで、撮影方向によっては、動物の全体が撮影されない場合がある。以上の場合、動物画像ＧＡは一部が欠損した動物を表す。例えば、図３（ｂ）の具体例では、動物Ａから見て左上方向から当該動物Ａが撮影された場合（図３（ａ）の具体例と同様）の動物画像ＧＡを想定する。動物画像ＧＡは、右半身の下側が欠損した動物を表す。具体的には、図３（ｂ）に示す通り、動物画像ＧＡは、撮影方向Ｓｃへ見て境界部Ｌより奥側が欠損した動物を表す。
　しかし、枝肉モデル画像ＧＭは、動物の全体（ただし内臓等は除く）を表す画像である（後述の図６（ａ）参照）。仮に、動物画像ＧＡの外縁に枝肉モデル画像ＧＭの外縁を一致させることにより枝肉の重量が推定される構成（以下「対比例Ｘ」という）を想定する。以上の対比例Ｘでは、動物画像ＧＡが表す動物の体部分が欠損している場合、各画像の外縁を正確に一致できず、枝肉の重量が高精度に推定され難くなるという不都合が生じ得る。
　以上の事情を考慮して、本実施形態の重量推定装置１００は、全体画像ＧＷを動物画像ＧＡから生成（推定）可能な構成を採用した。全体画像ＧＷは、動物の全体を表す。したがって、全体画像ＧＷの外縁に枝肉モデル画像ＧＭの外縁を一致させ、枝肉の重量を推定することにより、対比例Ｘと比較して上述の不都合が抑制される。以上の構成について、以下で詳細に説明する。
　図４（ａ）および図４（ｂ）は、背筋曲線Ｓを特定する構成（形状特定部１０４）を説明するための図である。図４（ａ）は、図３（ｃ）と同様に、Ｚ軸方向から動物画像ＧＡを見た場合を想定する。また、図４（ａ）には、背筋曲線Ｓを構成する複数の頂点Ｐ（Ｐｎを含む）が示される。各頂点Ｐの座標を特定することで、背筋曲線Ｓが実質的に特定される。
　図４（ｂ）は、Ｙ軸およびＺ軸に平行（ＹＺ平面に平行）な動物画像ＧＡの断面を示す。具体的には、図４（ｂ）に示す断面は、Ｘ座標が数値「ｎ」の位置で動物画像ＧＡを切断した場合を想定する（図４（ａ）も参照）。図４（ｂ）には、動物の各部位のうち当該動物の背中の表面を表す動物画像ＧＡの部分（外縁）が抜粋して示される。
　動物の背筋曲線Ｓを構成する各頂点Ｐは、動物画像ＧＡのＹＺ平面に平行な断面のうち、Ｚ座標が最大の点（断面の頂点）になるのが通常である。したがって、重量推定装置１００は、背筋曲線Ｓを構成する頂点Ｐとして動物画像ＧＡの断面の頂点を特定する。
　例えば、図４（ｂ）の具体例では、Ｘ座標が数値「ｎ」のＹＺ平面に平行な断面の頂点の座標が（ｎ，ｍ，Ｚｍａｘ）の場合を想定する。以上の場合、座標（ｎ，ｍ，Ｚｍａｘ）が頂点Ｐの座標として特定される。また、重量推定装置１００は、Ｘ軸上の他の位置（Ｘ＝ｎ以外の位置）についても、ＹＺ平面に平行な断面の頂点を頂点Ｐとして特定する。以上の構成では、背筋曲線Ｓが特定される。
　図５（ａ）から図５（ｄ）は、背筋曲線Ｓに基づいて全体画像ＧＷ（推定用情報）を生成する構成（情報生成部１０６）を説明するための図である。図５（ａ）から図５（ｄ）は、図３（ｃ）および図４（ａ）と同様に、Ｚ軸方向から動物画像ＧＡを見た場合を想定する。
　図５（ａ）は、全体画像ＧＷの生成に用いる動物画像ＧＡの具体例を説明するための図である。重量推定装置１００は、動物画像ＧＡに対して、直線化処理、切除処理、選択処理および生成処理を実行することで、全体画像ＧＷを生成する。
　以下、説明のため、ＸＹ平面と垂直であり、且つ、ＸＹ平面に投影された背筋曲線Ｓと垂直な面状の画像を「輪切画像Ｇｃ」と記載する。動物画像ＧＡは、例えば頂点Ｐと略同数の輪切画像Ｇｃに区分される。ただし、図５（ａ）には、以上の各輪切画像Ｇｃのうち、輪切画像Ｇｃ１から輪切画像Ｇｃ４を抜粋して示す。
　図５（ａ）に示す通り、輪切画像Ｇｃ１は、背筋曲線Ｓのうち頂点Ｐ１を含む画像である。また、輪切画像Ｇｃ２は、背筋曲線Ｓのうち頂点Ｐ２を含む画像であり、輪切画像Ｇｃ３は、背筋曲線Ｓのうち頂点Ｐ３を含む画像であり、輪切画像Ｇｃ４は、背筋曲線Ｓのうち頂点Ｐ４を含む画像である。
　図５（ａ）の具体例では、動物画像ＧＡの背筋曲線ＳがＺ軸方向から見て直線ではない場合を想定する。図５（ａ）から把握される通り、動物画像ＧＡを構成する各輪切画像Ｇｃには、ＹＺ平面に対して平行ではない輪切画像Ｇｃが含まれる。本実施形態の重量推定装置１００は、以上の動物画像ＧＡに対して、直線化処理を実行する。
　図５（ｂ）は、直線化処理が実行された動物画像ＧＡの具体例を説明するための図である。図５（ｂ）の具体例は、図５（ａ）の動物画像ＧＡに対して直線化処理が実行された場合を想定する。直線化処理では、動物画像ＧＡの全ての輪切画像Ｇｃの向きがＹＺ平面に平行、且つ、Ｚ軸方向からみた背筋曲線ＳがＹ軸方向に平行となる様に、各輪切画像Ｇｃの位置および向きが調整される。なお、直線化処理は、Ｚ軸方向から見た背筋曲線ＳがＹ軸方向に平行に調整されれば足り、具体的な内容は以上の例に限定されない。
　以上の直線化処理を実行した後に、重量推定装置１００（半身選択部１０５）は、選択処理を実行する。選択処理において、動物Ａの右半身および左半身のうちの一方が特定半身として選択される。具体的には、動物画像ＧＡを背筋曲線ＳでＺ軸方向へ２個の画像（右半身を表す画像および左半身を表す画像）に切断した場合を想定する。選択処理では、以上の２個の画像のうち、より大きな画像で表される半身を特定半身として選択する。
　例えば、図５（ｂ）に示す動物画像ＧＡに対して選択処理が実行された場合を想定する。動物画像ＧＡでは、動物Ａの左半身の略全体が表される。一方、図５（ｂ）に示す通り、動物Ａの右半身のうち、動物Ａから見て境界部Ｌより右側の部位が、動物画像ＧＡでは表されない（欠損している）。動物画像ＧＡに対して選択処理が実行されると、左半身が特定半身として選択される。重量推定装置１００は、選択処理を実行した後に、動物画像ＧＡに対して切除処理を実行する。
　図５（ｃ）は、切除処理が実行された動物画像ＧＡの具体例を説明するための図である。切除処理では、動物Ａの各半身のうち、上述の特定半身に選択されなかった半身を表す部分が動物画像ＧＡから切除される。以下、切除処理が実行される前の動物画像ＧＡと区別するため、切除処理が実行された動物画像ＧＡを「半身画像Ｇａｘ」と記載する場合がある。
　図５（ｃ）の具体例は、図５（ｂ）に示す動物画像ＧＡに対して切除処理が実行された場合の半身画像Ｇａｘを想定する。半身画像Ｇａｘは、動物Ａの左半身を表す画像である。なお、半身画像Ｇａｘのうち、切除処理により生じた断面を「断面Ｌｘ」と記載する場合がある。図５（ｃ）に示す通り、断面ＬｘはＸＺ平面に対して略平行である。また、断面Ｌｘの外縁には背筋曲線Ｓの全体が含まれる。重量推定装置１００は、切除処理を実行した後に生成処理を実行する。以上の生成処理により、全体画像ＧＷが生成される。
　図５（ｄ）は、生成処理により生成された全体画像ＧＷを説明するための図である。図５（ｄ）の具体例では、図５（ｃ）に示す半身画像Ｇａｘから全体画像ＧＷが生成された場合を想定する。すなわち、動物Ａの左半身を表す半身画像Ｇａｘから全体画像ＧＷが生成された場合を想定する。
　ところで、豚などの動物は、通常、左半身と右半身とが面対照であるという事情がある。したがって、特定半身を表す半身画像Ｇａｘと面対照な画像は、特定半身とは逆側の半身を表すことが推定される。そこで、重量推定装置１００は、動物Ａの特定半身を表す半身画像Ｇａｘから全体画像ＧＷを生成する際に、半身画像Ｇａｘと面対照な画像（以下「半身画像Ｇａｙ」と記載する）を、特定半身とは逆側の半身を表す画像として生成する。以上の半身画像Ｇａｘと半身画像Ｇａｙとを組合せた画像が全体画像ＧＷとして記憶される。
　例えば、図５（ｃ）に示す半身画像Ｇａｘは、動物Ａの左半身を表す。以上の半身画像Ｇａｘから全体画像ＧＷを生成する場合、動物Ａの右半身を表す半身画像Ｇａｙが生成される。半身画像Ｇａｙは、半身画像Ｇａｘの断面Ｌｘを通りＸＺ平面に平行な面に対して、半身画像Ｇａｘと面対照である。また、図５（ｃ）に示す通り、半身画像Ｇａｙは断面Ｌｙを含む。半身画像Ｇａｙの断面Ｌｙは、半身画像Ｇａｘの断面Ｌｘと略合同である。半身画像Ｇａｙは、断面Ｌｙが半身画像Ｇａｘの断面Ｌｘと略一致する位置に生成される。
　図５（ｄ）は、動物Ａの左半身が特定半身に選択された場合の全体画像ＧＷの具体例である。上述した通り、動物Ａの左半身側から撮影した動物画像ＧＡが取得されると、動物Ａの左半身が特定半身に選択される。一方、本実施形態では、動物Ａの右半身側から撮影した動物画像ＧＡが取得されると、動物Ａの右半身が特定半身に選択され得る。
　動物Ａの右半身が特定半身に選択された場合、動物Ａの右半身を表す半身画像Ｇａｘが生成される。また、以上の場合、半身画像Ｇａｘから左半身を表す半身画像Ｇａｙが生成される。すなわち、動物Ａの右半身を表す半身画像Ｇａｘから左半身を表す半身画像Ｇａｙが推定され、動物Ａの全体を表す全体画像ＧＷが生成される。
　以上の説明から理解される通り、本実施形態によれば、第１方向（例えば、左半身側）から動物を撮影した場合に加え、第１方向と相違する第２方向（例えば、右半身側）から動物を撮影した場合であっても、全体画像ＧＷが生成される。上述した通り、全体画像ＧＷからは動物に関する重量が推定される。すなわち、本実施形態によれば、第１方向および第２方向の何れの方向から動物を撮影した場合であっても、動物に関する重量が推定できる。以上の構成では、例えば特定の一方向から撮影した動物の画像からのみ当該動物に関する重量が推定できる構成と比較して、撮影方向の自由度が向上するという利点がある。
　また、本実施形態の直線化処理によれば、背筋曲線が第１の形状となる姿勢（第１姿勢）の動物を撮影した画像が取得された場合と、背筋曲線が第２の形状となる姿勢（第２姿勢）の動物を撮影した画像が取得された場合との何れであっても、背筋曲線をＺ軸方向から見て直線化できる。すなわち、動物の姿勢によらず、全体画像ＧＷ（推定用情報）が生成され、当該動物に関する重量が推定できる。したがって、例えば第１姿勢の動物の画像からは当該動物に関する重量が推定できるが、第２姿勢の動物の画像からは当該動物に関する重量が推定できない構成と比較して、動物に関する重量が推定できる姿勢の自由度が向上するという利点がある。
　図６（ａ）から図６（ｃ）および図６（ｄ－１）から図６（ｄ－３）は、動物Ａの枝肉の重量を算出する構成（重量推定部１０８）の具体例を説明するための図である。重量推定装置１００は、重量推定処理を実行することで、動物Ａの枝肉の重さを算出（推定）する。
　図６（ａ）は、枝肉モデル画像ＧＭの概念図である。上述した通り、枝肉モデル画像ＧＭは、動物の全体を表す画像である。ただし、枝肉モデル画像ＧＭは、枝肉に含まれない部位（内蔵類など）を取り除いた動物の画像である。また、枝肉モデル画像ＧＭは、全体画像ＧＷと同様に、背筋曲線が直線の動物の画像（標準化された画像）である。本実施形態の枝肉モデル画像ＧＭは、図６（ａ）に示す通り、モデル画像Ｇｍ１からモデル画像Ｇｍ７を含んで構成される。各モデル画像Ｇｍは、全体画像ＧＷの各部分の何れかに対応する。
　図６（ｂ）および図６（ｃ）は、モデル画像Ｇｍに対応する全体画像ＧＷの部分を説明するための図である。本実施形態では、図６（ｃ）に示す通り、モデル画像Ｇｍ１に対応する全体画像ＧＷの部分を「部分画像Ｇｗ１」と記載する。同様に、モデル画像Ｇｍ２に対応する全体画像ＧＷの部分を「部分画像Ｇｗ２」、モデル画像Ｇｍ３に対応する全体画像ＧＷの部分を「部分画像Ｇｗ３」、モデル画像Ｇｍ４に対応する全体画像ＧＷの部分を「部分画像Ｇｗ４」、モデル画像Ｇｍ５に対応する全体画像ＧＷの部分を「部分画像Ｇｗ５」、モデル画像Ｇｍ６に対応する全体画像ＧＷの部分を「部分画像Ｇｗ６」、モデル画像Ｇｍ７に対応する全体画像ＧＷの部分を「部分画像Ｇｗ７」と記載する。
　重量推定処理において、モデル画像Ｇｍは、当該モデル画像Ｇｍが対応する部分画像Ｇｗに応じてフィッティング（拡大、縮小）される。具体的には、部分画像Ｇｗの外縁にモデル画像Ｇｍの外縁が一致する様に、当該モデル画像Ｇｍがフィッティングされる。なお、本実施形態では、枝肉モデル画像ＧＭを７個のモデル画像ｍで構成したが、枝肉モデル画像ＧＭを７個より多いモデル画像ｍで構成してもよいし、７個未満のモデル画像ｍで構成してもよい。
　図６（ｄ－１）から図６（ｄ－３）は、枝肉モデル画像ＧＭを全体画像ＧＷにフィッティングする場合の具体例を説明するための図である。以上の具体例では、各モデル画像Ｇｍのうちモデル画像Ｇｍ４がフィッティングされる場合を想定する。
　図６（ｄ－１）に示す通り、部分画像Ｇｗ４は、Ｚ軸方向の高さがＺｗ、Ｙ軸方向の幅がＹｗであると仮定する。モデル画像Ｇｍ４は、図６（ｄ－２）に示す通り、Ｚ軸方向の高さがＺｍ、Ｙ軸方向の幅がＹｍであると仮定する。以上の場合、重量推定装置１００は、図６（ｄ－３）に示す通り、モデル画像Ｇｍ４を、Ｚ軸方向の高さがＺｗ、Ｙ軸方向の幅がＹｗとなるように拡大（場合によっては縮小）する。具体的には、重量推定装置１００は、部分画像Ｇｗ４の形状を用いた枝肉モデル画像ＧＭの断面とのパターンマッチングにより、縦倍率「Ｚｗ／Ｚｍ」および横倍率「Ｙｗ／Ｙｍ」を特定（算出）する。また、重量推定装置１００は、モデル画像Ｇｍ４の高さを縦倍率「Ｚｗ／Ｚｍ」に応じて変更し、モデル画像Ｇｍ４の幅を「Ｙｗ／Ｙｍ」に応じて変更する。
　重量推定装置１００は、枝肉モデル画像ＧＭ（全てのモデル画像Ｇｍ）のフィッティングを終了した後に、当該枝肉モデル画像Ｇｍの体積を算出する。また、重量推定装置１００は、フィッティング後の枝肉モデル画像ＧＭの体積と動物の枝肉の平均密度との積を、当該動物の枝肉の重量として推定する。本実施形態の重量推定装置１００は、推定した枝肉の重量を表示部１０２（ヘッドマウントディスプレイ２０）に表示させる。
　図７（ａ）から図７（ｂ）は、表示部１０２に表示される各種の画像を説明するための図である。上述した通り、本実施形態の表示部１０２はヘッドマウントディスプレイであり、利用者は、実際に視認する景色、および、表示部１０２の画面を一度に確認できる。
　図７（ａ）は、重量推定処理が実行される前に表示される画面Ｍ１の模擬図である。上述した通り、画像撮影部１０１が撮影した画像は、表示部１０２にリアルタイムで表示される。また、画像撮影部１０１の撮影方向は、利用者の視線方向と略一致する。図７（ａ）の具体例は、利用者の視野の中心（以下「視野中心」と記載する）より下側に動物Ａが位置する場合を想定する。以上の場合、図７（ａ）に示す通り、画面Ｍ１の中心より下側に動物画像ＧＡが表示される。また、利用者の視野中心の右上側に動物Ｂが位置し、画面Ｍ１の中心より右上側に動物画像ＧＢが表示される。
　ところで、上述した通り本実施形態では、動物Ａに関する重量を推定する際に、画像撮影部１０１が撮影した画像（以下「景色画像」という）から動物画像ＧＡが抜粋して取得される。具体的には、景色画像から動物画像ＧＡが領域拡張法により特定され、当該動物画像ＧＡが取得される。ただし、上述した通り、領域拡張法により動物画像ＧＡを特定する場合、動物画像ＧＡに含まれる画素を種子画素として特定する必要がある。以下、種子画素の特定方法について詳細に説明する。
　図７（ａ）に示す通り、画面Ｍ１は、点画像ＧＰを含んで構成される。点画像ＧＰは、画面Ｍ１に固定して表示される。すなわち、画面Ｍ１に表示される各画像のうち、景色画像は撮影方向（利用者の視野方向）に応じて変化（移動）するが、画面Ｍ１における点画像ＧＰの位置は撮影方向に応じて移動しない。
　以上の構成において、点画像ＧＰが位置する景色画像（動物画像ＧＡを含む）の画素が、種子画素として特定される。したがって、例えば動物Ａに関する重量を推定する場合、点画像ＧＰが動物画像ＧＡに位置する様に撮影方向（利用者の視線方向）を変更する。例えば、図７（ａ）の具体例では、矢印Ｙの方向へ動物画像ＧＡが移動する様に、利用者の視線方向を移動する（視線を下側に移す）ことで、動物Ａに関する重量が推定される。
　図７（ｂ）は、重量推定処理の実行中に表示される画面Ｍ２の模擬図である。画面Ｍ２は、例えば、領域拡張法により動物画像ＧＡが特定された直後に表示される。図７（ｂ）に示す通り、画面Ｍ２は、画面Ｍ１と同様に、動物画像ＧＡを含む景色画像および点画像ＧＰを含んで構成される。
　なお、重量が推定される動物の動物画像が特定された際に、当該動物画像が他の動物画像と相違する態様で表示される構成が採用され得る。例えば、図７（ｂ）の具体例では、重量が推定される動物Ａの動物画像ＧＡの外縁が他の動物画像の外縁より強調（太く）表示される構成を採用した。以上の構成によれば、重量の推定に用いる動物画像を利用者に把握させ易くなるという利点がある。
　本実施形態では、利用者の撮影操作に応じて重量推定処理が実行される。具体的には、重量推定装置１００に対して撮影操作がされると、撮影操作時点において点画像ＧＰが位置する動物画像が取得され、重量推定処理が実行される。ただし、重量推定処理が実行される契機は適宜に設定され得る。例えば、点画像ＧＰが動物画像ＧＡ上に移動した契機で、自動的に重量推定処理が実行される構成としてもよい。
　図７（ｃ）は、重量推定処理が終了した直後に表示される画面Ｍ３の模擬図である。図７（ｃ）に示す通り、画面Ｍ３は、画面Ｍ１および画面Ｍ２と同様に、動物画像ＧＡを含んで構成される。また、画面Ｍ３は、重量画像Ｇｎを含んで構成される。重量画像Ｇｎは、上述の重量推定処理で算出された枝肉の重量を表示する。例えば、図７（ｃ）の具体例では、枝肉の重量として「７５ｋｇ」が推定された場合を想定する。
　以上の構成によれば、重量推定装置１００が推定した重量を利用者が直ちに把握できるという利点がある。また、図７（ｃ）に示す通り、重量画像Ｇｎは、重量の推定に用いた動物画像（図７（ｃ）の例ではＧＡ）に重ねて表示される。以上の構成では、例えば重量画像Ｇｎが動物画像の位置とは無関係な位置に表示される構成と比較して、重量が推定された動物（重量推定処理に用いられた動物画像）が把握し易くなるという利点がある。ただし、重量画像Ｇｎが表示される位置は適宜に変更できる。
　なお、上述した通り、本発明において、動物全体の体重（生体重）が推定される構成としてもよい。以上の構成では、重量画像Ｇｎに生体重が表示される。また、動物の生体重および枝肉の重量の双方が推定される構成を採用した場合、生体重および枝肉の重量の双方が重量画像Ｇｎに表示される構成が好適である。
　図７（ｃ）に示す通り、重量終了処理が終了した際に点画像ＧＰは非表示になる。すなわち、重量画像Ｇｎが表示される際に、点画像ＧＰは非表示になる。以上の構成では、点画像ＧＰと重量画像Ｇｎとが重なり、重量画像Ｇｎが点画像ＧＰで見え難くなるという不都合が抑制される。ただし、重量終了処理が終了した際に点画像ＧＰが継続して表示される構成としてもよい。
　図８（ａ）は、重量推定装置１００が実行する重量推定制御処理のフローチャートである。重量推定装置１００は、例えば、予め定められた時間間隔（割込み周期）で、重量推定制御処理を実行する。ただし、重量推定制御処理の実行契機は適宜に変更できる。
　重量推定制御処理を開始すると、重量推定装置１００は、画像取得処理（Ｓ１０１）を実行する。画像取得処理では、撮影操作に応じて撮影された距離画像（動物画像を含む景色画像）から動物画像が取得される。距離画像から動物画像を特定する方法として、例えば、上述の領域拡張法が用いられる。また、画像取得処理では動物画像を実座標（ＸＹＺ座標）に変換する。
　画像取得処理を実行した後に、重量推定装置１００は、曲面近似処理（Ｓ１０２）を実行する。例えば、豚などの動物の表面は、滑らかであるのが通常である。以上の事情を考慮して、曲面近似処理では、ステップＳ１０２で取得された動物画像の表面が滑らかな曲面に近似（フィッティング）される。曲面近似処理の詳細については、図８（ｂ）を用いて後述する。
　曲面近似処理を実行した後に、重量推定装置１００は、回転補正処理（Ｓ１０３）を実行する。回転補正処理では、上述の傾き情報を用いて、動物画像のＺ軸方向の向きを調整（回転）する。また、回転補正処理では、上述の主成分分析を用いて、動物画像のＸＹ平面（水平面）における向きを調整する。
　回転補正処理を実行した後に、重量推定装置１００は、背筋特定処理（Ｓ１０４）を実行する。背筋特定処理では、動物画像における背筋曲線が特定される（図４（ａ）参照）。背筋特定処理を実行した後に、重量推定装置１００は、直線化処理（Ｓ１０５）を実行する。直線化処理では、Ｚ軸方向から見て背筋曲線が直線になる様に、動物画像が調整（変形）される（図５（ｂ）参照）。
　直線化処理を実行した後に、重量推定装置１００は、選択処理（Ｓ１０６）を実行する。選択処理では、背筋曲線でＺ軸方向へ動物画像ＧＡを２個の画像に切断したと仮定した場合、当該２個の画像のうち大きい方の画像で表される半身が特定半身として選択される。
　選択処理を実行した後に、重量推定装置１００は、切除処理（Ｓ１０７）を実行する。以上の切除処理では、特定半身として選択されなかった半身を表す部分が、動物画像から切除される（図５（ｃ）参照）。切除処理を実行した後に、重量推定装置１００は、生成処理（Ｓ１０８）を実行する。生成処理では、動物画像（半身画像）から全体画像ＧＷが生成される（図５（ｄ）参照）。
　生成処理を実行した後に、重量推定装置１００は、重量推定処理（Ｓ１０９）を実行する。重量推定処理では、上述の生成処理で生成された全体画像ＧＷから、動物の枝肉の重量が推定（算出）される。具体的には、全体画像ＧＷの外縁が枝肉モデル画像ＧＭの外縁に一致する様に枝肉モデル画像ＧＭがフィッティングされ（図６（ｄ－１）から図６（ｄ－３）参照）、フィッティングした枝肉モデル画像ＧＭの体積が求められる。また、予め記憶された平均密度と枝肉モデル画像ＧＭの体積との積が枝肉の重量として算出される。
　重量推定処理を実行した後に、重量推定装置１００は、表示部１０２に重量画像Ｇｎ（図７（ｃ）参照）を表示させる（Ｓ１１０）。重量画像Ｇｎを表示した後に、重量推定装置１００は、ステップＳ１０１に処理を戻す。
　図８（ｂ）は、曲面近似処理（図８（ａ）のＳ１０２）のフローチャートである。曲面近似処理を開始すると、重量推定装置１００は、第１近似処理（Ｓ２０１）を実行する。第１近似処理では、動物画像（点群画像）の表面を構成する各点を標本点として、最小２乗法を用いた多項式近似関数曲面フィッティングが実行される。なお、曲面近似の方法は、多項式近似関数曲面フィッティングに限定されず、適宜な方法が採用され得る。
　ところで、重量を推定する動物を撮影する際に、当該動物に別の動物が接触している場合がある。以上の場合、重量を推定する動物（本来の撮影対象）の動物画像に、別の動物を表す画像（以下「ノイズ画像」という）が含まれ得る。仮に、重量を推定するための動物画像にノイズ画像が含まれると、重量が正確に推定されないという不都合が生じ得る。
　以上の事情を考慮して、重量推定装置１００は、第１近似処理を実行した後に、撮影対象とした動物の表面を表す近似曲面に含まれない画像をノイズ画像として削除する（Ｓ２０２）。すなわち、撮影対象とした動物の表面を表す１個の近似曲面から外れた点群については、他の動物等を表す点群であるとして削除される。以上の構成では上述の不都合が抑制される。
　撮影対象とした動物の表面を表す近似曲面以外のノイズ画像を削除した後に、重量推定装置１００は、第２近似処理（Ｓ２０３）を実行する。第２近似処理では、第１近似処理と同様に、動物画像に対して多項式近似関数曲面フィッティングが実行される。ただし、第２近似処理では、第１近似処理と比較して、高次の多項式を用いて多項式近似関数曲面フィッティングが実行される。
　以上の第２近似処理では、第１近似処理と比較して、撮影対象とした動物の表面が高精度に抽出される。したがって、ステップＳ２０２において仮にノイズ画像が削除しきれなかった場合、当該ノイズ画像は、撮影対象とした動物の表面とは別の画像として、第２近似処理において抽出される。
　重量推定装置１００は、第２近似処理を実行した後に、ノイズ画像を削除する（Ｓ２０４）。以上の構成によれば、例えば、第１近似処理および第２近似処理のうち第１近似処理のみが実行される構成と比較して、動物画像からノイズ画像が高精度に削除される。したがって、撮影対象とした動物に関する重量が高精度に推定されるという利点がある。
　なお、第１近似処理および第２近似処理のうち第２近似処理のみが実行される構成（以下「対比例Ｙ」）としてもよい。ただし、仮に共通の画像に実行した場合、第２近似処理の処理負担は、第１近似処理の処理負担より大きくなり易い。また、ノイズ画像は最終的に削除される。以上の事情から、第２近似処理の対象となるノイズ画像は小さい程好適であるという事情がある。
　本実施形態では、第２近似処理に先行して、第１近似処理が実行され、第１近似処理で抽出されたノイズ画像が削除される。したがって、対比例Ｙと比較して、第２近似処理の対象となるノイズ画像を小さくできるという利点がある。
＜第２実施形態＞
　動物（例えば豚）に関する重量を推定する際に、当該動物の背中全体を表す画像を要する場合がある（例えば、上述の特許文献１参照）。上述の第１実施形態では、動物の背中の大部分（例えば半分）が欠損した画像からも、動物に関する重量を推定できるという利点がある。
　上述の第１実施形態では、動物に関する重量を推定する際に、動物画像において欠損した動物の部位の形状が推定され、全体画像ＧＷが生成される。しかし、推定した形状と実際の形状との間に誤差が生じる可能性が完全には排除できない。すなわち、全体画像ＧＷが表す動物の形状と実際の動物の形状との間には誤差が生じ得る。したがって、仮に、動物の背中全体を表す動物画像が撮影できた場合、当該動物画像（実際の動物の形状を表す画像）に基づいて枝肉モデル画像ＧＭがフィッティングされる場合の方が、全体画像ＧＷ（推定された動物の形状を表す画像）に基づいて枝肉モデル画像ＧＭがフィッティングされる場合と比較して、動物に関する重量が高精度に推定され易いという事情がある。
　以上の事情を考慮して、第２実施形態の重量推定装置１００は、動物の背中全体を表す動物画像が撮影できた場合、当該動物画像に基づいて枝肉モデル画像ＧＭをフィッティングする。一方、それ以外の場合、全体画像ＧＷに基づいて枝肉モデル画像ＧＭがフィッティングされる。
　具体的には、第２実施形態の重量推定装置１００は、動物画像を取得すると、上述の傾き情報に基づいて、動物が鉛直方向から撮影されたか否かを判定する。具体的には、傾き情報が所定の範囲（０度±α）内である場合、動物が鉛直方向から撮影されたと判断される。一方、傾き情報が当該範囲外である場合、動物が鉛直方向から撮影されなかったと判断される。動物が鉛直方向から撮影された場合、背中全体を表す画像が動物画像に含まれると推定される。
　重量推定装置１００は、動物が鉛直方向から撮影されたと判断すると、動物画像に基づいて枝肉モデル画像ＧＭをフィッティングして、当該動物に関する重量を推定する。一方、重量推定装置１００は、動物が鉛直方向から撮影されなかったと判断すると、動物画像から全体画像ＧＷを生成する（第１実施形態と同様）。また、重量推定装置１００は、全体画像ＧＷに基づいて枝肉モデル画像ＧＭをフィッティングして、動物に関する重量を推定する。
　以上の第２実施形態では、第１実施形態と同様に、動物に関する重量を推定できる。また、動物が鉛直方向から撮影されたと判断されると、動物画像に基づいて枝肉モデル画像ＧＭがフィッティングされる。したがって、動物に関する重量を高精度に推定できるという効果は格別に顕著である。なお、第２実施形態では、動物画像に基づいて枝肉モデル画像ＧＭをフィッティングするか全体画像ＧＷに基づいて枝肉モデル画像ＧＭをフィッティングするかが自動的に選択される構成を採用した。しかし、重量推定処理の前に、動物画像の形状を利用者が確認可能とし、動物画像の形状に応じて利用者が（手動で）選択可能な構成としてもよい。
＜本実施形態の態様例の作用、効果のまとめ＞
＜第１態様＞
　本態様の重量推定装置（１００）は、動物の画像を取得する画像取得部（１０１）と、画像から動物の所定部位の形状（背筋曲線）を特定する形状特定部（１０４）と、所定部位の形状に基づいて、動物に関する重量の推定に用いる推定用情報（全体画像ＧＷ）を生成する情報生成部（１０６）と、推定用情報に基づいて、重量を推定する重量推定部（１０８）と、を具備し、情報生成部は、第１方向（例えば、左半身側）から動物を撮影した第１画像（動物画像ＧＡ）が取得された場合に推定用情報を生成可能であるとともに、第１方向と相違する第２方向（例えば、右半身側）から動物を撮影した第２画像が取得された場合にも推定用情報を生成可能である。以上の本態様によれば、動物に関する重量が推定可能となる撮影方向の自由度が向上する。
＜第２態様および第３態様＞
　第２態様の重量推定装置（１００）は、動物の所定部位は、動物の背筋であり、動物から見て背筋より右側に位置する右半身および左側に位置する左半身のうちの一方を特定半身として選択する半身選択部（１０５）を備え、情報生成部は、特定半身に選択されない半身の形状を、特定半身の形状（図５（ｃ）参照）から推定し、当該推定した半身の形状と特定半身の形状とから、動物全体の形状を示す情報を推定用情報として生成可能である（図５（ｄ）参照）。以上の本態様によれば、上述の第１態様と同様な効果が奏せられる。また、第３態様の重量推定装置は、枝肉の形状を示す枝肉モデル情報（枝肉モデル画像ＧＭ）を記憶する情報記憶部を具備し、重量推定部は、推定用情報が示す動物の形状に応じて変形された枝肉モデル情報が示す枝肉の形状に基づいて、当該動物の枝肉の重量を推定する（図６（ｄ－１）から図６（ｄ－３）参照）。
＜第４態様＞
　本態様の重量推定装置（１００）は、情報生成部は、第１姿勢（背筋曲線が第１の形状となる姿勢）の動物を撮影した第３画像が取得された場合に推定用情報を生成可能であるとともに、第１姿勢と相違する第２姿勢（背筋曲線が第２の形状となる姿勢）の動物を撮影した第４画像が取得された場合にも推定用情報を生成可能である。以上の本態様によれば、例えば、第１姿勢の動物の画像からは当該動物に関する重量が推定できるが、第２姿勢の動物の画像からは当該動物に関する重量が推定できない構成と比較して、動物に関する重量が推定できる姿勢の自由度が向上するという利点がある。
＜第５態様および第６態様＞
　第５態様の重量推定装置（１００）は、利用者から見て特定位置で固定可能であり、当該利用者の視線方向に位置する動物を撮影可能な画像撮影部（１０１）と、画像撮影部が撮影した画像を表示可能なヘッドマウントディスプレイである表示部（１０２）とを具備し、画像取得部は、画像撮影部が撮影した画像を取得する。以上の本態様によれば、動物を撮影する際に、画像撮影部を手に持つ必要がないという利点がある。また、第６態様の重量推定装置は、画像取得部は、動物までの距離を示す情報を含む距離画像を取得する。
＜第７態様＞
　本態様のプログラム（重量推定プログラムＰＧ）は、コンピュータ（１０）に、動物の画像を取得する画像取得処理（図８（ａ）のＳ１０１）と、画像から動物の所定部位の形状を特定する形状特定処理（図８（ａ）のＳ１０４）と、所定部位の形状に基づいて、動物に関する重量の推定に用いる推定用情報を生成する情報生成処理（図８（ａ）のＳ１０８）と、推定用情報に基づいて、重量を推定する重量推定処理（図８（ａ）のＳ１０９）と、を実行させるプログラムであって、情報生成処理では、第１方向から動物を撮影した第１画像が取得された場合に推定用情報を生成可能であるとともに、第１方向と相違する第２方向から動物を撮影した第２画像が取得された場合にも推定用情報を生成可能である。以上の第７態様によれば、上述の第１態様と同様な効果が奏せられる。
　１００…重量推定装置、１０１…画像撮影部、１０２…表示部、１０３…画像取得部、１０４…形状特定部、１０５…半身選択部、１０６…情報生成部、１０７…枝肉モデル記憶部、１０８…重量推定部。

Claims (7)

  1. 　動物の画像を取得する画像取得部と、
    　前記画像から前記動物の所定部位の形状を特定する形状特定部と、
    　前記所定部位の形状に基づいて、前記動物に関する重量の推定に用いる推定用情報を生成する情報生成部と、
    　前記推定用情報に基づいて、前記重量を推定する重量推定部と、を具備し、
    　前記情報生成部は、第１方向から前記動物を撮影した第１画像が取得された場合に前記推定用情報を生成可能であるとともに、前記第１方向と相違する第２方向から前記動物を撮影した第２画像が取得された場合にも前記推定用情報を生成可能である
    　重量推定装置。
  2. 　前記動物の前記所定部位は、前記動物の背筋であり、
    　前記動物から見て前記背筋より右側に位置する右半身および左側に位置する左半身のうちの一方を特定半身として選択する半身選択部を備え、
    　前記情報生成部は、前記特定半身に選択されない半身の形状を、前記特定半身の形状から推定し、当該推定した半身の形状と前記特定半身の形状とから、前記動物全体の形状を示す情報を前記推定用情報として生成可能である
    　請求項１に記載の重量推定装置。
  3. 　枝肉の形状を示す枝肉モデル情報を記憶する情報記憶部を具備し、
    　前記重量推定部は、前記推定用情報が示す前記動物の形状に応じて変形された前記枝肉モデル情報が示す枝肉の形状に基づいて、当該動物の枝肉の重量を推定する
    　請求項２に記載の重量推定装置。
  4. 　前記情報生成部は、第１姿勢の前記動物を撮影した第３画像が取得された場合に前記推定用情報を生成可能であるとともに、前記第１姿勢と相違する第２姿勢の前記動物を撮影した第４画像が取得された場合にも前記推定用情報を生成可能である
    　請求項１から３の何れかに記載の重量推定装置。
  5. 　利用者から見て特定位置で固定可能であり、当該利用者の視線方向に位置する前記動物を撮影可能な画像撮影部と、
    　前記画像撮影部が撮影した画像を表示可能なヘッドマウントディスプレイである表示部とを具備し、
    　前記画像取得部は、前記画像撮影部が撮影した画像を取得する
    　請求項１から４の何れかに記載の重量推定装置。
  6. 　前記画像取得部は、前記動物までの距離を示す情報を含む距離画像を取得する
    　請求項１から５の何れかに記載の重量推定装置。
  7. 　コンピュータに、
    　動物の画像を取得する画像取得処理と、
    　前記画像から前記動物の所定部位の形状を特定する形状特定処理と、
    　前記所定部位の形状に基づいて、前記動物に関する重量の推定に用いる推定用情報を生成する情報生成処理と、
    　前記推定用情報に基づいて、前記重量を推定する重量推定処理と、を実行させるプログラムであって、
    　前記情報生成処理では、第１方向から前記動物を撮影した第１画像が取得された場合に前記推定用情報を生成可能であるとともに、前記第１方向と相違する第２方向から前記動物を撮影した第２画像が取得された場合にも前記推定用情報を生成可能である
    　プログラム。
PCT/JP2021/005666 2020-02-18 2021-02-16 重量推定装置及びプログラム WO2021166894A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202180013781.6A CN115135973B (zh) 2020-02-18 2021-02-16 重量推定装置和程序
JP2022501900A JP7210862B2 (ja) 2020-02-18 2021-02-16 重量推定装置及びプログラム
EP21757749.3A EP4109057A4 (en) 2020-02-18 2021-02-16 WEIGHT ESTIMATION APPARATUS AND PROGRAM
US17/904,371 US20230154023A1 (en) 2020-02-18 2021-02-16 Weight estimation device and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-025139 2020-02-18
JP2020025139 2020-02-18

Publications (1)

Publication Number Publication Date
WO2021166894A1 true WO2021166894A1 (ja) 2021-08-26

Family

ID=77391257

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/005666 WO2021166894A1 (ja) 2020-02-18 2021-02-16 重量推定装置及びプログラム

Country Status (5)

Country Link
US (1) US20230154023A1 (ja)
EP (1) EP4109057A4 (ja)
JP (1) JP7210862B2 (ja)
CN (1) CN115135973B (ja)
WO (1) WO2021166894A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022202793A1 (ja) * 2021-03-25 2022-09-29 学校法人東京理科大学 生育状況評価システム
WO2023190352A1 (ja) * 2022-03-29 2023-10-05 学校法人東京理科大学 生育状況評価システム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10500207A (ja) * 1994-04-14 1998-01-06 フェノ・イメージング、インク 動物の三次元表現型測定装置
JP2014044078A (ja) 2012-08-24 2014-03-13 Univ Of Miyazaki 動物体の体重推定装置、及び体重推定方法
JP2019045478A (ja) 2017-09-06 2019-03-22 国立大学法人 宮崎大学 家畜の体重推定装置及び家畜の体重推定方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6097218A (ja) * 1983-10-31 1985-05-31 Yamato Scale Co Ltd 組合せ計量方法
US6377353B1 (en) 2000-03-07 2002-04-23 Pheno Imaging, Inc. Three-dimensional measuring system for animals using structured light
JP4219381B2 (ja) * 2005-11-29 2009-02-04 ヨシモトポール株式会社 飼育動物個体群の管理システム
EP2745942B1 (en) * 2007-02-07 2016-05-11 Marel A/S Method and system for processing of foodstuff items
CN100498213C (zh) * 2007-07-25 2009-06-10 中国农业大学 一种利用双目视觉技术监测猪生长的方法
WO2010098954A2 (en) * 2009-02-27 2010-09-02 Body Surface Translations, Inc. Estimating physical parameters using three dimensional representations
US8369566B2 (en) * 2009-05-01 2013-02-05 Texas Tech University System Remote contactless stereoscopic mass estimation system
WO2012039467A1 (ja) * 2010-09-22 2012-03-29 パナソニック株式会社 運動支援システム
CN103884280A (zh) * 2014-03-14 2014-06-25 中国农业大学 一种移动式多猪圈猪体尺体重监测系统
US9931964B2 (en) * 2015-06-17 2018-04-03 Ford Global Technologies, Llc Occupant weight and height estimation
JP6637169B2 (ja) 2016-06-03 2020-01-29 株式会社オプティム 動物体重推測システム、動物体重推測方法及びプログラム
JP6559197B2 (ja) 2017-09-01 2019-08-14 Ｎｔｔテクノクロス株式会社 体重出力装置、体重出力方法及びプログラム
JP7057971B2 (ja) * 2018-06-06 2022-04-21 全国農業協同組合連合会 動物体の体重推定装置及び体重推定方法
CN110672189A (zh) * 2019-09-27 2020-01-10 北京海益同展信息科技有限公司 体重估计方法、装置、系统和存储介质
JP2021063774A (ja) * 2019-10-17 2021-04-22 株式会社ノア 体重推定装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10500207A (ja) * 1994-04-14 1998-01-06 フェノ・イメージング、インク 動物の三次元表現型測定装置
JP2014044078A (ja) 2012-08-24 2014-03-13 Univ Of Miyazaki 動物体の体重推定装置、及び体重推定方法
JP2019045478A (ja) 2017-09-06 2019-03-22 国立大学法人 宮崎大学 家畜の体重推定装置及び家畜の体重推定方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4109057A4

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022202793A1 (ja) * 2021-03-25 2022-09-29 学校法人東京理科大学 生育状況評価システム
WO2023190352A1 (ja) * 2022-03-29 2023-10-05 学校法人東京理科大学 生育状況評価システム

Also Published As

Publication number Publication date
EP4109057A4 (en) 2024-03-27
CN115135973B (zh) 2024-04-23
US20230154023A1 (en) 2023-05-18
EP4109057A1 (en) 2022-12-28
JP7210862B2 (ja) 2023-01-24
CN115135973A (zh) 2022-09-30
JPWO2021166894A1 (ja) 2021-08-26

Similar Documents

Publication Publication Date Title
US10102639B2 (en) Building a three-dimensional composite scene
WO2021166894A1 (ja) 重量推定装置及びプログラム
US6415051B1 (en) Generating 3-D models using a manually operated structured light source
JP4999711B2 (ja) 画像処理装置、画像処理方法
JP2019534510A5 (ja)
US10984609B2 (en) Apparatus and method for generating 3D avatar
JP2008275391A (ja) 位置姿勢計測装置及び位置姿勢計測方法
JP7001145B2 (ja) 情報処理装置、物体計測システム、物体計測方法およびコンピュータプログラム
US11042730B2 (en) Method, apparatus and device for determining an object, and storage medium for the same
JP6981531B2 (ja) 物体同定装置、物体同定システム、物体同定方法およびコンピュータプログラム
US11490062B2 (en) Information processing apparatus, information processing method, and storage medium
JP2005256232A (ja) ３ｄデータ表示方法、装置、およびプログラム
CN111028341A (zh) 一种三维模型生成方法
Schweitzer et al. Aspects of 3D surface scanner performance for post-mortem skin documentation in forensic medicine using rigid benchmark objects
EP3503036A1 (en) Determining pixel values using reference images
CN108292450A (zh) 确定虚拟放置的灯具的照明效果
Guo et al. 3D scanning of live pigs system and its application in body measurements
Barone et al. Automatic technical documentation of lithic artefacts by digital techniques
CN107066095B (zh) 一种信息处理方法及电子设备
Reed et al. Creating custom human avatars for ergonomic analysis using depth cameras
JP2007275277A (ja) 最大値投影方法および装置
JP6403447B2 (ja) 情報処理装置、指標校正のための撮影案内方法、コンピュータプログラム
JP3910811B2 (ja) テクスチャマッピング方法、テクスチャマッピング処理プログラム及びそのプログラムを記録したコンピュータ読取り可能な記録媒体
JP6984870B2 (ja) ３次元形状測定装置、３次元形状測定方法、及び３次元形状測定プログラム
Nonaka et al. Capturing a surgical area using multiple depth cameras mounted on a robotic mechanical system

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21757749

Country of ref document: EP

Kind code of ref document: A1

DPE2 Request for preliminary examination filed before expiration of 19th month from priority date (pct application filed from 20040101)
ENP Entry into the national phase

Ref document number: 2022501900

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021757749

Country of ref document: EP

Effective date: 20220919