WO2019198611A1 - 特徴推定装置および特徴推定方法 - Google Patents

特徴推定装置および特徴推定方法 Download PDF

Info

Publication number
WO2019198611A1
WO2019198611A1 PCT/JP2019/014947 JP2019014947W WO2019198611A1 WO 2019198611 A1 WO2019198611 A1 WO 2019198611A1 JP 2019014947 W JP2019014947 W JP 2019014947W WO 2019198611 A1 WO2019198611 A1 WO 2019198611A1
Authority
WO
WIPO (PCT)
Prior art keywords
feature
image
captured image
unit
learning
Prior art date
Application number
PCT/JP2019/014947
Other languages
English (en)
French (fr)
Inventor
善喬 河野
大輔 西脇
博義 宮野
哲明 鈴木
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2020513232A priority Critical patent/JP7074185B2/ja
Publication of WO2019198611A1 publication Critical patent/WO2019198611A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01K—ANIMAL HUSBANDRY; AVICULTURE; APICULTURE; PISCICULTURE; FISHING; REARING OR BREEDING ANIMALS, NOT OTHERWISE PROVIDED FOR; NEW BREEDS OF ANIMALS
    • A01K61/00—Culture of aquatic animals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Definitions

  • the present invention relates to a feature estimation device and feature estimation method for aquatic organisms.
  • Patent Document 1 discloses a method for monitoring the aquatic life of aquatic organisms, which accurately measures the three-dimensional position of aquatic organisms such as fish moving in a tank and monitors the behavioral state of aquatic organisms. That is, based on the back side (or ventral side) of the fish taken from the upper side (or bottom side) and the side of the aquarium, and the front side shot image of the fish, the fish head, trunk, tail fin, etc. The shape and size are estimated for each part. Further, the shape and size of each part of the fish are estimated using a plurality of template images given to each part.
  • Patent Document 2 discloses an image discrimination device for a moving object (fish), and is applied to, for example, a survey on the amount of fish in the sea. That is, underwater fish are photographed by a moving image camera and a still image camera, and a fish shadow is observed based on the moving image and the still image. Note that the size of the fish is estimated by the image size (or the number of pixels).
  • the present invention has been made to solve the above-described problems, and an object of the present invention is to provide a feature estimation device and a feature estimation method that can estimate feature points of an aquatic organism reflected in a captured image with high accuracy. To do.
  • a first aspect of the present invention is a learning data acquisition unit that acquires learning data generated by machine learning based on a photographed image of an aquatic organism and a feature point indicating a shape feature of the aquatic organism reflected in the photographed image
  • a feature estimation apparatus comprising: a feature point estimation unit that performs automatic recognition processing using data and identifies a feature point indicating a shape feature of an aquatic organism reflected in a captured image.
  • the second aspect of the present invention acquires learning data generated by machine learning based on a photographed image of an underwater organism and a feature point indicating a shape feature of the aquatic organism reflected in the photographed image, and automatically uses the learning data.
  • This is a feature estimation method for performing a recognition process and specifying a feature point indicating a shape feature of an aquatic organism reflected in a captured image.
  • a process of acquiring learning data generated by machine learning based on a photographed image of an aquatic organism and a feature point indicating a shape feature of the aquatic organism reflected in the photographed image, and learning data A storage medium storing a program for causing a computer to execute a process of identifying a feature point indicating a shape feature of an aquatic organism reflected in a captured image by performing automatic recognition processing.
  • a captured image of an aquatic organism is acquired, and a feature point indicating a shape feature of the aquatic organism reflected in the captured image can be estimated with high accuracy by machine learning and automatic recognition processing. It can be estimated with accuracy.
  • photographed with the stereo camera of the underwater life monitoring system is shown.
  • photographed with the stereo camera and the 2nd picked-up image is shown.
  • An example of the picked-up image in which the automatic recognition process was performed by the feature estimation apparatus which concerns on one Embodiment of this invention is shown.
  • An example of the automatic recognition image based on the result of the automatic recognition process by the feature estimation apparatus which concerns on one Embodiment of this invention is shown.
  • the other example of the automatic recognition image based on the result of the automatic recognition process by the feature estimation apparatus which concerns on one Embodiment of this invention is shown.
  • FIG. 1 is a system configuration diagram showing an underwater organism monitoring system 100 including an analysis apparatus 1 according to an embodiment of the present invention.
  • the underwater organism monitoring system 100 includes a feature estimation device 1, a stereo camera 2, and a terminal 3.
  • the stereo camera 2 is installed at a position where the underwater creatures grown in the ginger 4 installed in the sea can be photographed.
  • the stereo camera 2 is installed at the corner of a rectangular parallelepiped ginger 4 and is arranged with the shooting direction directed to the center of the ginger 4.
  • the function and operation of the underwater organism monitoring system 100 will be described as growing fish in the ginger 4.
  • the stereo camera 2 installed in the water of the ginger 4 is connected to the terminal 3 for communication.
  • the stereo camera 2 captures an image in the capturing direction and transmits the captured image to the terminal 3.
  • the terminal 3 is communicatively connected to the feature estimation device 1.
  • the terminal 3 transmits the captured image received from the stereo camera 2 to the feature estimation device 1.
  • the feature estimation device 1 is a server device connected to a communication network such as the Internet, for example.
  • the feature estimation device 1 performs machine learning based on the captured image received from the stereo camera 2 via the terminal 3 and the feature points for specifying the shape feature of the aquatic life reflected in the captured image.
  • the feature estimation device 1 performs automatic recognition processing using learning data generated by machine learning, and estimates feature points that specify shape features of aquatic organisms in a captured image.
  • FIG. 2 is a hardware configuration diagram of the feature estimation apparatus 1.
  • the feature estimation apparatus 1 includes a CPU (Central Processing Unit) 101, a ROM (Read Only Memory) 102, a RAM (Random Access Memory) 103, a database 104, and a communication module 105.
  • the feature estimation device 1 communicates with the terminal 3 via the communication module 105. Note that the terminal 3 also has the same hardware configuration as the analysis apparatus 1.
  • FIG. 3 is a functional block diagram of the feature estimation apparatus 1.
  • the CPU 101 executes a program stored in advance in a storage unit such as the ROM 102, thereby realizing the functional unit shown in FIG.
  • a captured image acquisition unit 11 and a feature designation reception unit 12 are implemented in the feature estimation device 1 by executing an information acquisition program stored in advance in the storage unit.
  • the learning unit 13 is implemented in the feature estimation device 1 by executing a machine learning program stored in advance in the storage unit after the feature estimation device 1 is activated.
  • the feature estimation device 1 includes the learning data acquisition unit 14, the feature point estimation unit 15, and the same individual identification unit 16.
  • a data discard unit 17, a size estimation unit 18, and an output unit 19 are mounted.
  • the captured image acquisition unit 11 acquires a captured image from the stereo camera 2 via the terminal 3.
  • the feature designation accepting unit 12 accepts input of a rectangular range in which the fish body shown in the photographed image is accommodated and a plurality of feature points in the fish body.
  • the learning unit 13 performs machine learning based on the captured image received from the stereo camera 2 and the feature points for specifying the shape characteristics of the underwater creatures reflected in the captured image. Machine learning will be described later.
  • the learning data acquisition unit 14 acquires the learning data generated by the learning unit 13.
  • the feature point estimation unit 15 estimates a feature point that identifies the shape feature of the fish that appears in the captured image by automatic recognition processing using the learning data.
  • the same individual specifying unit 16 specifies the fish of the same individual shown in each of the two captured images obtained from the stereo camera 2.
  • the data discarding unit 17 discards the estimation result when the relationship between the plurality of feature points of the fish estimated by the automatic recognition processing is abnormal.
  • the size estimation unit 18 estimates the size of the fish based on the fish feature points in the captured image. In the present embodiment, the size of the fish is the fish body length, body height, weight, and the like.
  • the output unit 19 generates output information based on the fish size estimated by the size estimation unit 18 and sends the output information to a predetermined output destination.
  • FIG. 4 shows an example of an image taken by the stereo camera 2.
  • the stereo camera 2 includes two lenses 21 and 22 arranged at a predetermined interval.
  • the stereo camera 2 captures two incident images at the same timing by capturing light incident on the left and right lenses 21 and 22 with an image sensor.
  • the stereo camera 2 captures images at a predetermined time interval.
  • a first photographed image is generated corresponding to the right lens 21 and a second photographed image is generated corresponding to the left lens 22.
  • FIG. 4 shows one of the first captured image and the second captured image.
  • the position of the same fish individual in which the first photographed image and the second photographed image appear is slightly different depending on the position of the lenses 21 and 22.
  • the stereo camera 2 generates several or several tens of captured images per second.
  • the stereo camera 2 sequentially transmits captured images to the feature estimation device 1.
  • the analysis apparatus 1 associates the acquisition time of the captured image, the captured time, the first captured image, and the second captured image and sequentially records them in the database 104.
  • FIG. 5 is a flowchart showing information acquisition processing of the feature estimation apparatus 1 (steps S101 to S106).
  • FIG. 6 shows examples of the first input image and the second input image.
  • the feature estimation device 1 sequentially acquires captured images from the stereo camera 2 via the terminal 3 after activation (S101).
  • the captured image acquisition unit 11 sequentially acquires a combination of the first captured image and the second captured image captured by the stereo camera 2 at the same time.
  • the feature estimation apparatus 1 sequentially produces a number of photographed images that can generate learning data that can automatically recognize the first rectangular range A1 and the feature points P1, P2, P3, and P4 in which the fish integrated in the newly inputted photographed image is contained. get.
  • the captured image acquisition unit 11 gives identification information (ID) to each of the first captured image and the second captured image.
  • ID identification information
  • the photographed image acquisition unit 11 associates the first photographed image with the ID and the second photographed image with the ID, and associates the first photographed image and the second photographed image generated at the same time and records them in the database 104. (S102).
  • the feature designation receiving unit 12 starts processing according to the operation of the worker.
  • the feature designation accepting unit 12 accepts the input of the first rectangular range A1 in which the fish body reflected in the captured image obtained from the stereo camera 2 fits and the plurality of feature points P1, P2, P3, and P4 integrated with the fish body (S103).
  • the feature designation receiving unit 12 receives a first input image G1 and a first input image G1 for receiving inputs of the first rectangular range A1 and the feature points P1, P2, P3, and P4 in the captured image designated by the operator.
  • An input application screen including the two-input image G2 is generated and displayed on the monitor (S104).
  • the feature designation accepting unit 12 includes the first rectangular range A1, the feature points P1, P2, and the second feature for each of the first photographed image and the second photographed image photographed by the left and right lenses 21 and 22 of the stereo camera 2.
  • An input application screen for receiving inputs of P3 and P4 may be generated and displayed on the monitor.
  • the feature designation receiving unit 12 displays a first input image G1 indicating a captured image designated by the worker on the input application screen on the monitor.
  • the operator designates the first rectangular range A1 by using an input device such as a mouse so that a fish body is included in the first input image G1.
  • the feature designation receiving unit 12 generates an input application screen showing the second input image G2 in which the first rectangular range A1 is enlarged and displays it on the monitor.
  • the operator designates feature points P1, P2, P3, and P4 for specifying the shape feature of the fish in the second input image G2.
  • the feature points P1, P2, P3, and P4 may be a predetermined circular range including a plurality of pixels.
  • the feature point P1 is a circular range indicating the tip position of the fish mouth.
  • the feature point P2 is a circular range indicating the position of the outer edge of the central recess where the fish fin is split into two.
  • the feature point P3 is a circular range indicating the root position in front of the fish fin.
  • the feature point P4 is a circular range indicating the root position in front of the fish belly fin.
  • the feature designation receiving unit 12 includes coordinates indicating the first rectangular range A1 designated from the first input image G1 according to the position of the mouse pointer on the input application screen and the click operation of the mouse button by the operator, and feature points.
  • the coordinates indicating the circular ranges of P1, P2, P3, and P4 are temporarily stored in a storage unit such as the RAM 103. These coordinates may be determined using the reference position of the captured image (for example, the pixel position at the upper left corner of the rectangular range of the captured image) as the origin.
  • the feature designation accepting unit 12 receives the coordinates of the first rectangular range A1 designated on the input application screen, the coordinates of the circular ranges of the feature points P1, P2, P3, and P4, the ID of the photographed image, and information about the fish body integration.
  • the fish ID for identification is linked and recorded in the database 104 (S105).
  • the feature designation receiving unit 12 may perform the above-described processing for each of the first captured image and the second captured image.
  • the feature designation receiving unit 12 is a combination of a fish ID for identifying information about the fish, the first captured image ID, the first rectangular range A1 of the first captured image, and the feature points P1, P2, P3, and P4.
  • a fish ID for identifying information related to the same fish and a combination of the second photographed image ID, the first rectangular range A1 of the second photographed image, and the feature points P1, P2, P3, and P4. Record in database 104.
  • a plurality of fish are photographed in the photographed image.
  • the operator designates the first rectangular range A1 and the feature points P1, P2, P3, and P4 for the fish that shows the entire fish body among the plurality of fish that appear in one captured image, whereby the feature designation receiving unit 12 Those pieces of information are acquired and recorded in the database 104.
  • the feature designation receiving unit 12 determines whether or not the designation of the photographed image by the operator has been completed (S106). When the operator designates the next photographed image, the feature designation receiving unit 12 repeats the above steps S103 to S105.
  • FIG. 7 is a flowchart showing the learning process of the feature estimation apparatus 1 (steps S201 to S205).
  • the learning unit 13 starts the learning process in response to the operator's operation (S201).
  • the learning unit 13 selects one fish ID recorded in the database 104 and acquires information associated with the fish ID (S202).
  • This information includes the captured image, the coordinates of the first rectangular range A, and the coordinates of the circular ranges of the feature points P1, P2, P3, and P4.
  • the learning unit 13 uses the pixel value at the coordinates in the first rectangular range A1 in the captured image and the pixel value at the coordinates in the circular ranges of the feature points P1, P2, P3, and P4 as correct data, and a convolutional neural network such as AlexNet. Machine learning using is performed (S203).
  • the learning unit 13 includes the positions of the feature points P1, P2, P3, and P4 in the first rectangular range A1, the positional relationship of the feature points P1, P2, P3, and P4, and the circular range of the feature points P1, P2, P3, and P4.
  • Machine learning is performed based on the pixel value at the coordinates, the pixel value at the coordinates in the first rectangular range A1, and the like.
  • the learning unit 13 determines whether or not information associated with the next fish ID is recorded in the database 104 (S204). When the next fish ID exists, the learning unit 13 repeats steps S202 to S203 for the fish ID.
  • the learning unit 13 generates first learning data for automatically specifying a rectangular range in which the fish body reflected in the captured image is accommodated. Further, the learning unit 13 generates second learning data for automatically specifying the fish-integrated feature points P1, P2, P3, and P4 shown in the captured image.
  • the first learning data is, for example, data for determining a neural network for outputting a determination result as to whether or not a rectangular range set in a newly acquired captured image is a rectangular range including only a fish body. is there.
  • the second learning data is, for example, whether the range provided in the captured image includes the feature point P1, the range provided in the captured image includes the feature point P2, or the range provided in the captured image is the feature point.
  • a determination result indicating whether the range including P3, the range provided in the captured image includes the feature point P4, or the range provided in the captured image does not include the feature points P1, P2, P3, and P4 is output. This is data for determining a neural network.
  • the learning unit 13 records the first learning data and the second learning data in the database 104 (S205).
  • the feature estimation device 1 learns to automatically recognize the first rectangular range A1 in which the fish body reflected in the photographed image fits and the plurality of feature points P1, P2, P3, and P4 that are integrated in the fish body. Data can be generated.
  • the learning unit 13 performs a multiplication process (Data Augmentation) on the captured image that is the correct answer data recorded in the database 104, and uses the many correct answer data that has been propagated. Learning data and second learning data may be generated.
  • a known method can be used for the multiplication processing of correct data. For example, a Random Crop method, a Horizontal Clip method, a first Color Augmentation method, a second Color Augmentation method, a third Color Augmentation method, or the like can be used.
  • the learning unit 13 resizes a captured image into an image of 256 pixels ⁇ 256 pixels, and randomly extracts a plurality of images of 224 pixels ⁇ 224 pixels from the resized image to form a new captured image. .
  • the learning unit 13 performs the machine learning process described above using a new captured image.
  • the learning unit 13 In the Horizonal Flip method, the learning unit 13 inverts the pixels of the captured image in the horizontal direction to obtain a new captured image.
  • the learning unit 13 performs the machine learning process described above using a new captured image.
  • the RGB values of pixels in a captured image are regarded as a set of three-dimensional vectors, and the feature estimation device 1 performs a principal component analysis (PCA: Principal Component Analysis) of the three-dimensional vectors.
  • PCA Principal Component Analysis
  • the learning unit 13 generates noise using a Gaussian distribution, and generates a new image by adding noise in the eigenvector direction of the RGB three-dimensional vector by principal component analysis to the pixels of the captured image.
  • the learning unit 13 performs machine learning processing using a new image.
  • the learning unit 13 changes the color information of the captured image in a direction (axial direction) in which the dispersion of the principal component of the color information in the color space determined by the principal component analysis of the color information of the captured image is maximized.
  • the learning unit 13 randomly changes the contrast, brightness, and RGB value of the pixel of the captured image within a range of, for example, 0.5 to 1.5 times. Thereafter, the learning unit 13 generates a new image by a method similar to the first Color Augmentation method. The learning unit 13 performs machine learning processing using a new image.
  • the learning unit 13 corrects the captured images of different colors captured under different imaging environment conditions to the color of the captured image under the reference imaging conditions. Then, the learning unit 13 performs machine learning processing so as to generate first learning data and second learning data based on the first rectangular range and the plurality of feature points in the captured image after the correction.
  • the color of the captured image may change depending on the shooting location, water quality, season, and weather.
  • the correct answer data is a color image, it is assumed that the feature estimation device 1 cannot accurately recognize feature points using the learning data when the learning data is generated based on captured images having different colors.
  • the learning unit 13 acquires, as correct answer data, captured images that are captured under various shooting conditions regarding the shooting location, water quality, season, weather, and the like. Then, when performing learning processing using these captured images, the learning unit 13 performs color correction on the entire captured image so that the water colors in the captured images of all the correct answer data are the same color.
  • the feature point estimation unit 15 of the feature estimation apparatus 1 stores information related to color correction (for example, a color correction coefficient) together with shooting conditions. Thereafter, when the feature point estimation unit 15 recognizes a rectangular range including a fish body or a feature point of a fish body from a new photographed image, the feature point estimation unit 15 acquires a combination of a photographing condition and color correction information.
  • the feature point estimation unit 15 selects a shooting condition closest to the shot image from a plurality of shooting conditions, and performs color correction on the shot image using color correction information corresponding to the shooting condition.
  • the feature point estimation unit 15 performs automatic recognition processing using the color-corrected captured image.
  • the learning unit 13 virtually unifies the shooting conditions of the shot image that is the correct answer data by unifying the colors of the shot images shot under different shooting conditions corresponding to different colors. Correct data can be generated, and learning processing can be appropriately performed using the correct data. For this reason, the feature estimation apparatus 1 can improve the accuracy of the automatic recognition process using the learning data obtained by the learning process.
  • the learning unit 13 may use one of a plurality of proliferation processing methods for the captured image, or may use a plurality of proliferation processes.
  • the operator does not use all of the plurality of proliferation processing methods in combination and uses the learning data generated by gradually increasing the number of combinations of the plurality of methods such as one method, two methods, and three methods. Based on the evaluation. If the worker does not improve the recognition accuracy by adding the multiplication processing method and specifying the first rectangular range A1 or the feature point of the photographed image, the learning data generated by a combination of a plurality of methods is used. The adoption of is canceled.
  • the learning unit 13 stores a plurality of photographed images that are multiplied by the correct answer data, and when a plurality of photographed images having similarities are included in the plurality of photographed images, a photographed image having a high similarity is used for the learning process. You may make it not. For example, the learning unit 13 generates a score (for example, a scalar value or a vector value) for each of a plurality of captured images that are the multiplied correct answer data, and compares the scores between the captured images. The learning unit 13 determines that one of the captured images having a close score is an unnecessary image. The learning unit 13 performs principal component analysis on the RGB values of the pixels of the captured images in order to capture the tendency of the captured images determined to be unnecessary.
  • a score for example, a scalar value or a vector value
  • the learning unit 13 stores a principal component (eigenvector) calculated by principal component analysis and its threshold value.
  • the learning unit 13 obtains a principal component score (inner product of the eigenvector and the RGB value) for each pixel by using the eigenvector for the photographed image newly generated by the multiplication process, and adds up.
  • the total value and the threshold value are compared, and if the total value exceeds the threshold value, it is determined that the newly generated captured image is not used for the learning process.
  • FIG. 8 is a flowchart showing the automatic recognition processing of the feature estimation apparatus 1 (steps S301 to S316).
  • the feature estimation apparatus 1 receives captured image data generated by the stereo camera 2 during a predetermined time (S301).
  • the analysis apparatus 1 sequentially acquires captured images captured at predetermined time intervals included in the captured image data.
  • the captured image acquisition unit 11 acquires the first captured image and the second captured image captured at the same time.
  • the captured image acquisition unit 11 assigns identification information (ID) to the first captured image and the second captured image, respectively.
  • ID identification information
  • the photographed image acquisition unit 11 associates the first photographed image with the ID, the second photographed image with the ID, and associates the first photographed image with the second photographed image, thereby creating a new photographed image for automatic recognition processing. Is recorded in the database 104 (S302).
  • the stereo camera 2 ends the shooting after a predetermined shooting time has elapsed since the start of shooting.
  • the predetermined photographing time may be, for example, the time for one individual to make one round of rotation within the ginger 4 when the fish to be imaged continuously migrates in one direction around the center of the ginger 4. Note that the predetermined photographing time may be determined in advance.
  • the captured image acquisition unit 11 stops the captured image acquisition process when reception of the captured image data is stopped.
  • the photographed image data may be a photographed image that constitutes moving image data, or may be a photographed image that constitutes still image data.
  • the captured image acquisition unit 11 acquires the moving image data corresponding to the left and right lenses 21 and 22 of the stereo camera 2, the captured image corresponding to the capturing time at a predetermined time interval among a plurality of captured images constituting the moving image data. Images may be sequentially acquired as targets for automatic recognition of fish feature points.
  • the predetermined time interval may be, for example, a time during which the fish passes from one end to the other end of the rectangular captured image.
  • the analysis apparatus 1 uses the captured images acquired at predetermined time intervals to estimate the feature points of one or a plurality of fish that appear in the captured image.
  • the feature point estimation unit 15 starts the automatic recognition process (S303).
  • the feature point estimation unit 15 instructs the learning data acquisition unit 14 to acquire learning data.
  • the learning data acquisition unit 14 acquires the first learning data and the second learning data recorded in the database 104 and sends them to the feature point estimation unit 15.
  • the feature point estimation unit 15 acquires the first pair of first and second captured images from the database 104 according to their image IDs (S304).
  • the feature point estimation unit 15 starts automatic recognition processing using the neural network specified based on the first learning data for the captured image, and the second rectangular range A2 (FIG. 9) in which the fish body is included in the captured image. Reference) is specified (S305).
  • the learning part 13 demonstrates the process of the feature point estimation part 15 as what is performing the learning process using the picked-up image correct
  • the feature point estimation unit 15 corrects the captured image acquired in step S304 in the same manner as the third Color Augmentation method, and estimates the feature points of the aquatic organisms reflected in the corrected captured image. Since the automatic recognition process is performed using the learning data generated using the third Color Augmentation method by the processing of the feature point estimation unit 15, the automatic recognition accuracy related to the feature points of the aquatic organisms can be increased.
  • the feature point estimation unit 15 starts automatic recognition processing using the pixels in the second rectangular range A2 and the neural network specified based on the second learning data, and the feature points in the second rectangular range A2
  • a circular range of P1, P2, P3, and P4 is specified (S306).
  • the feature point estimation unit 15 sets the third rectangular range A3 by expanding, for example, about several pixels to several tens of pixels in the vertical and horizontal directions with reference to the center coordinates of the second rectangular range A2, or sets the second rectangular range A3.
  • a third rectangular range A3 in which the size of the range A2 is enlarged by several tens of percent is set, and automatic recognition processing is performed using the pixels of the third rectangular range A3 and the neural network specified based on the second learning data. Do. By enlarging the second rectangular area A2 to the third rectangular area A3, more background images can be captured, so that the recognition accuracy of the circular areas of the feature points P1, P2, P3, and P4 can be improved.
  • FIG. 9 shows an example of a captured image that has been subjected to the automatic recognition process described above.
  • the feature point estimation unit 15 specifies a second rectangular range A2 that surrounds one of the plurality of fishes shown in the captured image, or a third rectangular range A3 that is an enlargement of the second rectangular range A2.
  • the feature point estimation unit 15 also identifies a feature point by estimation processing for a captured image in which a fish head, tail fin, or the like is cut off at the top, bottom, left, or right ends of the captured image.
  • the data discarding unit 17 may detect an estimation result including a feature point estimated outside the end of the captured image based on the coordinates of the feature point, and discard the data relating to the estimation result. .
  • the feature point estimation unit 15 identifies the circular ranges of the feature points P1, P2, P3, and P4 for each of the first captured image and the second captured image captured at the same time. Since the fish shown in the first photographed image and the fish shown in the second photographed image are adjusted by machine learning so as to be a fish showing the same individual, the first learning data is learning data generated by the learning unit 13. . Thereby, learning data for specifying the second rectangular range A ⁇ b> 2 indicating the same fish body in the two captured images acquired from the stereo camera 2 can be generated. In addition, the feature point estimation unit 15 specifies a second rectangular range A2 that surrounds the same individual fish shown in each of the first captured image and the second captured image.
  • the feature point estimation unit 15 generates a fish ID of a fish included in the second rectangular range A2 specified in each of the first captured image and the second captured image, and the feature points P1 and P2 specified in the fish ID and the captured image. , P3, and P4, the representative coordinates (for example, center coordinates) of the circular range are recorded in the database 104 as a result of automatic recognition of the fish feature points (S307).
  • the feature point estimation unit 15 determines whether the second rectangular range A2 including other fish bodies or the third rectangular range A3 obtained by enlarging the second rectangular range A2 can be specified in the same captured image (S308).
  • the feature point estimation unit 15 repeats steps S305 to S307 described above when the second rectangular range A2 or the third rectangular range A3 including other fish can be specified in the same captured image.
  • the feature point estimating unit 15 records the image ID of the next unprocessed automatic recognition processing target captured image in the database 104. It is determined whether or not (S309).
  • the feature point estimation unit 15 repeats steps S304 to S308 when the image ID of the unprocessed automatic recognition processing target captured image is recorded in the database 104.
  • the feature point estimation unit 15 ends the automatic recognition process when the image ID of the unprocessed captured image to be automatically recognized is not recorded in the database 104.
  • FIG. 10 shows an example of an automatic recognition image based on the result of automatic recognition processing.
  • the feature point estimation unit 15 specifies the second rectangular range A2-R1 or the third rectangular range A3-R1 in the first captured image (for example, an image captured by the right lens 21). .
  • the feature point estimation unit 15 identifies the feature points P1-R1, P2-R2, P3-R1, and P4-R1 in the second rectangular range A2-R1 or the third rectangular range A3-R1.
  • the feature point estimation unit 15 specifies the second rectangular range A2-L1 or the third rectangular range A3-L1 in the second captured image (for example, an image captured by the left lens 22).
  • the feature point estimation unit 15 specifies the feature points P1-L1, P2-L2, P3-L1, and P4-L1 in the second rectangular range A2-L1 or the third rectangular range A3-L1.
  • FIG. 11 shows another example of the automatic recognition image based on the result of the automatic recognition processing.
  • the feature point estimation unit 15 also identifies feature points of other fish that appear in the first captured image. Specifically, the feature point estimation unit 15 specifies another second rectangular range A2-R2 or another third rectangular range A3-R2 in the first captured image. The feature point estimation unit 15 identifies the feature points P1-R2, P2-R2, P3-R2, and P4-R2 in the second rectangular range A2-R2 or the third rectangular range A3-R2. The feature point estimating unit 15 further specifies the second rectangular range A2-R3 or another third rectangular range A3-R3 in the first captured image. The feature point estimation unit 15 identifies the feature points P1-R3, P2-R3, P3-R3, and P4-R3 in the second rectangular range A2-R3 or the third rectangular range A3-R3.
  • the feature point estimation unit 15 also specifies feature points of other fish that are reflected in the second captured image. Specifically, the feature point estimation unit 15 specifies another second rectangular range A2-L2 or another third rectangular range A3-L2 in the second captured image. The feature point estimation unit 15 specifies the feature points P1-L2, P2-L2, P3-L2, and P4-L2 in the second rectangular range A2-L2 or the third rectangular range A3-L2. In addition, the feature point estimation unit 15 further specifies the second rectangular range A2-L3 or another third rectangular range A3-L3 in the second captured image. The feature point estimation unit 15 identifies the feature points P1-L3, P2-L3, P3-L3, and P4-L3 in the second rectangular range A2-L3 or the third rectangular range A3-L3.
  • the feature point estimation unit 15 records the feature points of the fish included in the captured image and the information related to the second rectangular range A2 and the third rectangular range A3 in the database 104 in association with the fish ID.
  • the output unit 19 may display an automatic recognition image (FIG. 11) based on the result of the automatic recognition processing on the monitor of the terminal 3 used by the worker. In this case, in the first photographed image and the second photographed image corresponding to the image ID selected by the operator, the second rectangular range A2 and the third rectangular range A3 each including the corresponding fish body, and the feature points P1, P2, P3 , P4 is displayed on the monitor.
  • the output unit 19 for example, the color of the frame of the second rectangular range A2 and the third rectangular range A3 including the fish bodies related to the same individual May be set to the same color, or a different color may be set for each individual fish and displayed on the monitor.
  • the feature point estimator 15 instructs the size estimator 18 to start the fish size estimation process when the automatic recognition process of the fish feature points has been completed for all the images to be automatically recognized.
  • the size estimation unit 18 obtains the representative coordinates of the feature points P1, P2, P3, and P4 extracted from the first photographed image associated with the unselected fish ID from the result of the automatic recognition process of the fish feature points, and the second photograph.
  • the representative coordinates of the feature points P1, P2, P3, and P4 extracted from the image are read (S310).
  • the size estimation unit 18 uses a known three-dimensional coordinate conversion method such as a DLT (Direct Linear Transformation) method to calculate the three-dimensional coordinates in the three-dimensional space corresponding to the feature points P1, P2, P3, and P4. Calculate (S311).
  • DLT Direct Linear Transformation
  • a calibration coefficient representing the relationship between the coordinates of a point in the captured image and the actual two-dimensional coordinates and three-dimensional coordinates is calculated in advance, and the three-dimensional coordinates are calculated from the points in the captured image using the calibration coefficient.
  • the size estimation unit 18 Based on the three-dimensional coordinates of the feature points P1, P2, P3, and P4, the size estimation unit 18 has a fork length that connects the three-dimensional coordinates corresponding to the feature point P1 and the three-dimensional coordinates corresponding to the feature point P2.
  • the body height connecting the three-dimensional coordinates corresponding to the feature point P3 and the three-dimensional coordinates corresponding to the feature point P4 is calculated (S312).
  • the size estimation unit 18 calculates the weight of the fish by substituting the fork length and the body height into the weight calculation formula for calculating the weight of the fish using the fork length and the body height as variables (S313).
  • the size estimation unit 18 determines whether the fish size has been calculated by selecting all the fish IDs from the result of the automatic recognition processing of the fish feature points (S314). If all fish body IDs have not been selected from the results of the fish feature point automatic recognition processing and the fish size has not been calculated, the size estimating unit 18 repeats steps S310 to S313.
  • the output unit 19 calculates statistical information of fish grown in the ginger 4 based on the fork length, body height, and weight corresponding to the fish ID (S315).
  • the output unit 19 generates output information indicating the fork length, body height, weight, and statistical information thereof corresponding to the fish ID, and outputs the output information to a predetermined device (S316). For example, the output unit 19 outputs the output data to a terminal confirmed by the manager of the ginger 4.
  • a feature point that identifies the shape feature of an aquatic organism such as a fish reflected in a captured image is estimated by automatic recognition processing using the first learning data and the second learning data.
  • the feature estimation device 1 generates the first learning data and the second learning data in advance, so that the feature estimation device 1 can store the learning data without recording a large number of fish template images to be recognized in the database.
  • the automatic recognition process used it is possible to identify the fish feature points with high accuracy.
  • the same individual specifying unit 16 recognizes the fish of the same individual shown in the first captured image and the second captured image. Specifically, in response to a request from the feature point estimating unit 15, the same individual specifying unit 16 performs feature point estimation on the coordinates of the second rectangular range A2 specified in each of the first captured image and the second captured image. Obtained from the unit 15.
  • the same individual specifying unit 16 has a predetermined threshold (for example, a range that overlaps the other one of the second rectangular range A2 specified from the first captured image and the second rectangular range A2 specified from the second captured image). 70%) or more.
  • the same individual specifying unit 16 specifies a combination of the second rectangular range A2 having the widest overlapping range between the first captured image and the second captured image, and is reflected in the second rectangular range A2 related to the combination. You may determine that a fish body is the same individual.
  • the same individual specifying unit 16 determines the second in the first photographed image and the second photographed image based on the positional deviation between the feature point identified from the first photographed image and the feature point identified as the second photographed image. You may determine with the fish body reflected in the rectangular range A2 being the same individual. Specifically, the same individual specifying unit 16 determines the positional deviation of each feature point specified from the second rectangular range A2 of the first captured image from the feature point specified from the second rectangular range A2 of the second captured image. calculate. When the positional deviation is less than the predetermined value, the same individual specifying unit 16 determines that the fishes reflected in the two second rectangular areas A2 are the same individual.
  • specification part 16 calculates the area of the fish body which occupies in 2nd rectangular range A2 selected in the 1st picked-up image and the 2nd picked-up image. If the difference in the area of the fish occupying the two second rectangular ranges A2 is within a predetermined threshold (for example, 10%), the same individual specifying unit 16 is the same individual as the fish reflected in the second rectangular range A2. Is determined.
  • a predetermined threshold for example, 10%
  • the processing of the feature estimation apparatus 1 has been described for the case of estimating the feature points of fish.
  • the aquatic organisms are not limited to fish, and other aquatic organisms (for example, squid, dolphins, jellyfishes, etc.) ). That is, the feature estimation device 1 may estimate feature points according to predetermined aquatic organisms.
  • the data discarding unit 17 discards the estimated values when the estimated values of the fish fork length, body height, and weight calculated by the size estimating unit 18 meet predetermined conditions that can be determined to be inaccurate. Also good. For example, when the estimated value is not included in the range of “average value of estimated value + standard deviation ⁇ 2”, the data discarding unit 17 may determine that the estimated value is not accurate.
  • the data discarding unit 17 determines the positional relationship between the feature points P1, P2, P3, and P4 as a result of automatic recognition processing for an aquatic organism such as a fish, the average positional relationship of the feature points, and the reference positional relationship registered in advance If there is a significant divergence compared to the information, the information on the feature points P1, P2, P3, and P4 as a result of the automatic recognition processing may be discarded. For example, when the feature point P4 of the belly fin is positioned above the fork length line connecting the feature points P1 and P2, the data discarding unit 17 sets the feature points P1 and P2 as a result of the automatic recognition processing. , P3 and P4 are discarded. When the ratio between the fork length and the body height is more than 20% apart from the average value or the reference value, the data discarding unit 17 uses the feature points P1, P2, Discard information related to P3 and P4.
  • the data discarding unit 17 stores a reference score value regarding a predetermined condition that can be determined that the information is not accurate, calculates a score value as a result of automatic recognition processing according to the predetermined condition, and the score value is equal to or higher than the reference score value or If it is less, the information related to the feature points P1, P2, P3, and P4 as a result of the automatic recognition processing may be automatically discarded.
  • the data discarding unit 17 displays confirmation information including information on the result of the automatic recognition processing in which the data discarding has been determined on the monitor, and determines whether to discard the data when an operation for accepting the data discarding is received from the operator. The information of the result of the automatic recognition processing that has been performed may be discarded.
  • FIG. 12 shows the minimum configuration of the feature estimation apparatus 1.
  • the feature estimation device 1 may include the learning data acquisition unit 14 and the feature point estimation unit 15.
  • the learning data acquisition unit 14 acquires learning data generated by machine learning based on a photographed image of the underwater organism and a feature point for specifying a shape feature of the aquatic organism reflected in the photographed image.
  • the feature point estimation unit 15 estimates a feature point that identifies the shape feature of the aquatic organism reflected in the captured image by automatic recognition processing using the learning data.
  • the feature estimation apparatus 1 has a computer system therein, and the above-described processing process is stored as a computer program in a computer-readable storage medium.
  • the computer reads and executes the computer program, the above-described processing process is performed. Realize the process.
  • the computer-readable storage medium means a magnetic disk, a magneto-optical disk, a CD-ROM, a DVD-ROM, a semiconductor memory, or the like.
  • the computer program may be distributed to the computer via a communication line so that the computer executes the computer program.
  • the above computer program may realize a part of the function of the analysis device 1 described above. Further, it may be a difference file (difference program) that realizes the above-described function in combination with a preinstalled program already recorded in the computer system.
  • difference file difference program
  • a feature estimation apparatus comprising: a feature point estimation unit that performs automatic recognition processing and identifies a feature point indicating a shape feature of an aquatic organism reflected in a captured image.
  • the feature estimation apparatus uses the learning data based on a first rectangular range in which the integral of the aquatic organisms reflected in the captured image fits and a plurality of feature points indicating the shape features of the integral aquatic organisms.
  • a learning unit is further provided.
  • the feature estimation device further includes a photographing device for photographing the first photographed image and the second photographed image taken at different positions at the same time for the aquatic organism, and the learning unit includes the first photographed image and the second photographed image.
  • the learning data is generated based on a first rectangular range in which a unit of aquatic organisms are accommodated and a plurality of feature points indicating shape characteristics of the united aquatic organisms.
  • the learning unit uses a plurality of photographed images obtained by correcting the color information of the photographed image in the axial direction corresponding to the maximum dispersion direction of the principal component of the color information in the color space determined by the principal component analysis on the photographed image. To generate learning data.
  • the learning unit corrects the color of the photographed image taken under different photographing conditions showing different colors to the color under the reference photographing condition, and the first rectangular range in the photographed image after the correction, and underwater Learning data is generated based on a plurality of feature points indicating the shape features of the organism.
  • a feature point estimation part estimates the some feature point which shows the shape feature of the aquatic organism reflected in the picked-up image after correction
  • the feature point estimation unit detects a second rectangular range in which an integral of aquatic organisms reflected in the captured image is contained by automatic recognition processing, sets a third rectangular range wider than the second rectangular range, and sets the third rectangular range Estimate the feature points of the underwater creatures reflected in the range by automatic recognition processing.
  • the feature point estimation unit detects a second rectangular range for each of the first captured image and the second captured image captured from different positions at the same time, and also detects a third rectangle wider than the second rectangular range.
  • the range is set, and the feature points of the underwater creatures reflected in the third rectangular range are estimated by automatic recognition processing.
  • the feature estimation device further includes an identical individual identifying unit that identifies the underwater creatures reflected in each of the first captured image and the second captured image as the same individual.
  • the feature point estimation unit estimates a plurality of feature points indicating the shape feature of the aquatic organism by the automatic recognition process, but if the estimation result of the automatic recognition process is determined to be abnormal, the estimation result Is further provided with a data discarding unit for discarding.
  • the feature estimation device further includes a size estimation unit that estimates the size of the aquatic organism based on the feature point indicating the shape feature of the aquatic organism shown in the captured image.
  • the feature estimation method acquires learning data generated by machine learning based on a photographed image of an underwater organism and a feature point indicating a shape feature of the aquatic organism reflected in the photographed image, and uses the learning data. Automatic recognition processing is performed to identify feature points indicating the shape characteristics of the aquatic organisms reflected in the captured image.
  • the storage device obtains learning data generated by machine learning based on a photographed image of an underwater creature and a feature point indicating a shape feature of the aquatic creature reflected in the photographed image, and the learning data
  • a program for causing a computer to execute a process of identifying a feature point indicating a shape feature of an aquatic organism reflected in a photographed image by performing automatic recognition processing using the image is stored.
  • the present invention estimates feature points of shape characteristics of aquatic organisms such as fish grown with ginger, but the aquatic organisms are not limited to fish and may be other aquatic organisms. Further, the feature point estimation target is not limited to marine products in ginger, and for example, it is possible to estimate feature points of shape characteristics of aquatic organisms in the ocean.

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Environmental Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Marine Sciences & Fisheries (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Zoology (AREA)
  • Animal Husbandry (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Farming Of Fish And Shellfish (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Processing (AREA)

Abstract

特徴推定装置は、水中生物の撮影画像と、撮影画像に映る水中生物の形状特徴を示す特徴点とに基づいて機械学習により生成された学習データを取得し、学習データを用いて自動認識処理を行い、撮影画像に映る水中生物の形状特徴を示す特徴点を特定する。

Description

特徴推定装置および特徴推定方法
　本発明は、水中生物の特徴推定装置および特徴推定方法に関する。
生簀や水槽で育成される水中生物（魚介類や海洋生物など）を監視するシステムの開発が求められている。監視システムは、例えば、生簀内の魚介類の大きさを推定し、市場に出荷するか否かの判定を行う。また、監視システムは、水槽や海などの水中に生息する生物の状態を検出も行う。なお、水槽や海中における魚類を撮影画像に基づいて判別する技術が、特許文献１及び特許文献２に開示されている。
　特許文献１は、水棲生物の育成状態監視方法を開示しており、槽内を移動する魚類等の水棲生物の３次元位置を精度良く測定し、水棲生物の行動状態を監視するものである。すなわち、水槽の上方側（又は底側）と横側から撮影された魚の背側（又は腹側）の撮影画像と、頭側の正面の撮影画像とに基づいて、魚の頭、胴体、尾ひれなどの部位毎に形状や大きさを推定する。また、魚の部位毎の形状や大きさを部位毎に与えられている複数のテンプレート画像を利用して推定する。
特許文献２は、移動体（魚類）の画像判別装置を開示しており、例えば、海中の魚類の生息量調査に適用される。すなわち、水中の魚を動画カメラと静止画カメラとによって撮影し、その動画及び静止画に基づいて魚影を観測する。なお、魚の大きさは画像サイズ（又は画素数）によって推定される。
特開２００３－２５０３８２号公報 特開２０１３－２０１７１４号公報
海中や水槽における水中生物を監視する際に、水質条件や気象条件などの撮影条件に応じて撮影画像の色味や輝度が変化するため、撮影画像に映る水中生物の特徴点を十分に認識できない可能性がある。従来技術では、撮影画像に基づいて水中生物の数や種類を正確に判別することが困難である。また、水中生物の大きさを推定する際に、高い精度で水中生物の特徴点を推定する必要がある。
　本発明は、上述の課題を解決するためになされたものであり、撮影画像に映る水中生物の特徴点を高い精度で推定することができる特徴推定装置および特徴推定方法を提供することを目的とする。
　本発明の第一態様は、水中生物の撮影画像と、撮影画像に映る水中生物の形状特徴を示す特徴点とに基づいて機械学習により生成された学習データを取得する学習データ取得部と、学習データを用いて自動認識処理を行い、撮影画像に映る水中生物の形状特徴を示す特徴点を特定する特徴点推定部と、を備える特徴推定装置である。
　本発明の第二態様は、水中生物の撮影画像と、撮影画像に映る水中生物の形状特徴を示す特徴点とに基づいて機械学習により生成された学習データを取得し、学習データを用いて自動認識処理を行い、撮影画像に映る水中生物の形状特徴を示す特徴点を特定する特徴推定方法である。
　本発明の第三態様は、水中生物の撮影画像と、撮影画像に映る水中生物の形状特徴を示す特徴点とに基づいて機械学習により生成された学習データを取得する処理過程と、学習データを用いて自動認識処理を行い、撮影画像に映る水中生物の形状特徴を示す特徴点を特定する処理過程と、をコンピュータに実行させるプログラムを記憶した記憶媒体である。
　本発明によれば、水中生物の撮影画像を取得し、撮影画像に映る水中生物の形状特徴を示す特徴点を機械学習と自動認識処理により高精度で推定できるため、水中生物の大きさを高い精度で推定することができる。
本発明の一実施形態に係る特徴推定装置を備えた水中生物監視システムを示すシステム構成図である。 本発明の一実施形態に係る特徴推定装置のハードウェア構成図である。 本発明の一実施形態に係る特徴推定装置の機能ブロック図である。 水中生物監視システムのステレオカメラにより撮影された画像の一例を示す。 本発明の一実施形態に係る特徴推定装置の情報取得処理を示すフローチャートである。 ステレオカメラにより撮影された第一撮影画像と第二撮影画像の例を示す。 本発明の一実施形態に係る特徴推定装置の学習処理を示すフローチャートである。 本発明の一実施形態に係る特徴推定装置の自動認識処理を示すフローチャートである。 本発明の一実施形態に係る特徴推定装置により自動認識処理が施された撮影画像の一例を示す。 本発明の一実施形態に係る特徴推定装置による自動認識処理の結果に基づく自動認識画像の一例を示す。 本発明の一実施形態に係る特徴推定装置による自動認識処理の結果に基づく自動認識画像の他の例を示す。 本発明の一実施形態に係る特徴推定装置の最小構成を示すブロック図である。
　本発明に係る水中生物の特徴推定装置及び特徴推定方法について、添付図面を参照して、実施形態とともに説明する。図１は、本発明による一実施形態に係る分析装置１を備えた水中生物監視システム１００を示すシステム構成図である。水中生物監視システム１００は、特徴推定装置１、ステレオカメラ２、及び端末３を備える。ステレオカメラ２は、海中に設置された生簀４内で育成される水中生物を撮影できる位置に設置される。例えば、ステレオカメラ２は、直方体形状の生簀４の角に設置されており、生簀４の中心に撮影方向を向けて配置される。本実施形態では、生簀４内で魚を育成するものとして水中生物監視システム１００の機能及び動作を説明する。
　生簀４の水中に設置されるステレオカメラ２は、端末３と通信接続される。ステレオカメラ２は、撮影方向の画像を撮影して、撮影画像を端末３へ送信する。端末３は、特徴推定装置１と通信接続される。端末３は、ステレオカメラ２から受信した撮影画像を特徴推定装置１へ送信する。特徴推定装置１は、例えば、インターネットなどの通信ネットワークに接続されたサーバ装置である。
　特徴推定装置１は、端末３を介してステレオカメラ２から受信した撮影画像と、その撮影画像に映る水中生物の形状特徴を特定するための特徴点と、に基づいて機械学習を行う。特徴推定装置１は、機械学習により生成された学習データを用いて自動認識処理を行い、撮影画像内における水中生物の形状特徴を特定する特徴点を推定する。
　図２は、特徴推定装置１のハードウェア構成図である。特徴推定装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）１０１、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）１０２、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）１０３、データベース１０４、及び通信モジュール１０５を具備する。特徴推定装置１は、通信モジュール１０５を介して端末３と通信する。なお、端末３も分析装置１と同様のハードウェア構成を備える。
　図３は、特徴推定装置１の機能ブロック図である。特徴推定装置１の起動後、ＣＰＵ１０１はＲＯＭ１０２などの記憶部に予め記憶されたプログラムを実行することにより、図２に示す機能部を実現する。
　具体的には、特徴推定装置１の起動後、記憶部に予め記憶された情報取得プログラムを実行することにより、特徴推定装置１には、撮影画像取得部１１及び特徴指定受付部１２が実装される。また、特徴推定装置１の起動後に、記憶部に予め記憶された機械学習プログラムを実行することにより、特徴推定装置１には、学習部１３が実装される。さらに、特徴推定装置１の起動後に、記憶部に予め記憶された特徴推定プログラムを実行することにより、特徴推定装置１には、学習データ取得部１４、特徴点推定部１５、同一個体特定部１６、データ破棄部１７、大きさ推定部１８、及び出力部１９が実装される。
　撮影画像取得部１１は、端末３を介してステレオカメラ２から撮影画像を取得する。特徴指定受付部１２は、撮影画像に映る魚体一体が収まる矩形範囲や魚体一体における複数の特徴点の入力を受け付ける。学習部１３は、ステレオカメラ２から受信した撮影画像と、撮影画像に映る水中生物の形状特徴を特定するための特徴点とに基づいて機械学習を行う。なお、機械学習については後述する。学習データ取得部１４は、学習部１３により生成された学習データを取得する。特徴点推定部１５は、学習データを用いた自動認識処理により撮影画像に映る魚の形状特徴を特定する特徴点を推定する。同一個体特定部１６は、ステレオカメラ２から得られた２つの撮影画像それぞれに映る同一個体の魚を特定する。データ破棄部１７は、自動認識処理により推定した魚の複数の特徴点の関係が異常である場合に、その推定結果を破棄する。大きさ推定部１８は、撮影画像内の魚の特徴点に基づいて魚の大きさを推定する。なお、魚の大きさは、本実施形態においては、魚の体長、体高、重量などである。出力部１９は、大きさ推定部１８の推定した魚の大きさに基づいて出力情報を生成し、その出力情報を所定の出力先へ送出する。
　図４は、ステレオカメラ２により撮影された画像の一例を示す。ステレオカメラ２は、所定間隔を隔てて配置された２つのレンズ２１、２２を備え、左右のレンズ２１、２２に入射した光を撮像素子で捉えて２つの撮影画像を同一タイミングで撮影する。また、ステレオカメラ２は、所定の時間間隔で画像を撮影する。ここで、右側レンズ２１に対応して第一撮影画像を生成し、左側レンズ２２に対応して第二撮影画像を生成するものとする。図４は、第一撮影画像と第二撮影画像のうちの一方の撮影画像を示す。第一撮影画像と第二撮影画像の映る同一の魚の個体の位置は、レンズ２１、２２の位置に応じて画像中の位置に僅かな差異が生じる。ステレオカメラ２は、例えば、１秒間に数枚又は数十枚の撮影画像を生成する。ステレオカメラ２は、撮影画像を特徴推定装置１へ順次送信する。分析装置１は、撮影画像の取得時刻、撮影時刻、第一撮影画像、第二撮影画像を紐づけてデータベース１０４へ順次記録する。
　図５は、特徴推定装置１の情報取得処理を示すフローチャートである（ステップＳ１０１～Ｓ１０６）。図６は、第一入力画像と第二入力画像の例を示す。
　次に、特徴推定装置１の情報取得処理について説明する。特徴推定装置１は、起動後に、端末３を介してステレオカメラ２から撮影画像を順次取得する（Ｓ１０１）。このとき、撮影画像取得部１１は、ステレオカメラ２により同時刻に撮影された第一撮影画像と第二撮影画像との組み合わせを順次取得する。特徴推定装置１は、新たに入力した撮影画像に映る魚体一体が収まる第一矩形範囲Ａ１や特徴点Ｐ１、Ｐ２、Ｐ３、Ｐ４が自動認識できる程度の学習データが生成できる数量の撮影画像を順次取得する。撮影画像取得部１１は、第一撮影画像と第二撮影画像のそれぞれに識別情報（ＩＤ）を付与する。撮影画像取得部１１は、第一撮影画像とＩＤ、第二撮影画像とＩＤをそれぞれ紐づけるとともに、同時刻に生成された第一撮影画像と第二撮影画像とを紐づけてデータベース１０４に記録する（Ｓ１０２）。
　そして、作業者の操作に応じて特徴指定受付部１２が処理を開始する。特徴指定受付部１２は、ステレオカメラ２から得た撮影画像に映る魚体一体が収まる第一矩形範囲Ａ１と、魚体一体の複数の特徴点Ｐ１、Ｐ２、Ｐ３、Ｐ４の入力を受け付ける（Ｓ１０３）。具体的には、特徴指定受付部１２は、作業者により指定された撮影画像において第一矩形範囲Ａ１と、特徴点Ｐ１、Ｐ２、Ｐ３、Ｐ４の入力を受付けるための第一入力画像Ｇ１、第二入力画像Ｇ２を含む入力アプリケーション画面を生成してモニタに表示する（Ｓ１０４）。このとき、特徴指定受付部１２は、ステレオカメラ２の左右のレンズ２１、２２で撮影された第一撮影画像と第二撮影画像のそれぞれについて、第一矩形範囲Ａ１と、特徴点Ｐ１、Ｐ２、Ｐ３、Ｐ４の入力を受け付けるための入力アプリケーション画面を生成してモニタに表示してもよい。
　特徴指定受付部１２は、入力アプリケーション画面上で作業者により指定された撮影画像を示す第一入力画像Ｇ１をモニタに表示する。作業者は、第一入力画像Ｇ１において魚体が含まれるようマウスなどの入力装置を用いて、第一矩形範囲Ａ１を指定する。特徴指定受付部１２は、第一矩形範囲Ａ１を拡大した第二入力画像Ｇ２を示す入力アプリケーション画面を生成してモニタに表示する。
　作業者は、第二入力画像Ｇ２において、魚の形状特徴を特定するための特徴点Ｐ１、Ｐ２、Ｐ３、Ｐ４を指定する。なお、特徴点Ｐ１、Ｐ２、Ｐ３、Ｐ４は、複数の画素を含む所定の円形範囲であってもよい。特徴点Ｐ１は、魚の口先端位置を示す円形範囲である。特徴点Ｐ２は、魚の尾ひれが二股に分かれる中央凹み部分の外縁の位置を示す円形範囲である。特徴点Ｐ３は、魚の背ひれ前方の付根位置を示す円形範囲である。特徴点Ｐ４は、魚の腹ひれ前方の付根位置を示す円形範囲である。作業者は、これらの位置に対応する特徴点Ｐ１、Ｐ２、Ｐ３、Ｐ４の円形範囲を指定する必要があることを認識しているものとする。また、入力アプリケーション画面において、作業者が指摘できる円形範囲の大きさは予め規定されている。特徴指定受付部１２は、入力アプリケーション画面におけるマウスポインタの位置や、作業者のマウスボタンのクリック操作に応じて、第一入力画像Ｇ１から指定された第一矩形範囲Ａ１を示す座標と、特徴点Ｐ１、Ｐ２、Ｐ３、Ｐ４の円形範囲を示す座標と、をＲＡＭ１０３などの記憶部に一時的に記憶する。これらの座標は、撮影画像の基準位置（例えば、撮影画像の矩形範囲の左上角の画素位置）を原点として決めてもよい。
　特徴指定受付部１２は、入力アプリケーション画面において指定された第一矩形範囲Ａ１の座標と、特徴点Ｐ１、Ｐ２、Ｐ３、Ｐ４の円形範囲の座標と、撮影画像のＩＤと、魚体一体に関する情報を識別するための魚体ＩＤとを紐づけてデータベース１０４に記録する（Ｓ１０５）。
　特徴指定受付部１２は、第一撮影画像と第二撮影画像のそれぞれについて上述の処理を行うようにしてもよい。このとき、特徴指定受付部１２は、魚体に関する情報を識別するための魚体ＩＤと、第一撮影画像ＩＤと第一撮影画像の第一矩形範囲Ａ１及び特徴点Ｐ１、Ｐ２、Ｐ３、Ｐ４の組み合わせと、同一魚体に関する情報を識別するための魚体ＩＤと、第二撮影画像ＩＤと第二撮影画像の第一矩形範囲Ａ１及び特徴点Ｐ１、Ｐ２、Ｐ３、Ｐ４の組み合わせと、が紐づくようにデータベース１０４に記録する。通常、撮影画像には複数の魚が撮影されている。作業者は、１つの撮影画像に映る複数の魚のうち魚体全体が写っている魚について、第一矩形範囲Ａ１及び特徴点Ｐ１、Ｐ２、Ｐ３、Ｐ４を指定することにより、特徴指定受付部１２がそれらの情報を取得して、データベース１０４に記録する。
　特徴指定受付部１２は、作業者による撮影画像の指定が終了したか判定する（Ｓ１０６）。作業者が、次の撮影画像を指定した場合、特徴指定受付部１２は、上述のステップＳ１０３乃至Ｓ１０５を繰り返す。
　次に、特徴推定装置１の学習処理について説明する。図７は、特徴推定装置１の学習処理を示すフローチャートである（ステップＳ２０１～Ｓ２０５）。作業者が指定した全ての撮影画像について上述の情報取得処理を終了すると、作業者の操作に応じて学習部１３が学習処理を開始する（Ｓ２０１）。学習部１３は、データベース１０４に記録されている１つの魚体ＩＤを選択し、その魚体ＩＤに紐づく情報を取得する（Ｓ２０２）。この情報は、撮影画像、第一矩形範囲Ａの座標、特徴点Ｐ１、Ｐ２、Ｐ３、Ｐ４の円形範囲の座標を含む。学習部１３は、撮影画像における第一矩形範囲Ａ１内の座標における画素値と、特徴点Ｐ１、Ｐ２、Ｐ３、Ｐ４の円形範囲内の座標における画素値を正解データとして、ＡｌｅｘＮｅｔなどの畳み込みニューラルネットワークを用いた機械学習を行う（Ｓ２０３）。学習部１３は、第一矩形範囲Ａ１における特徴点Ｐ１、Ｐ２、Ｐ３、Ｐ４の位置、特徴点Ｐ１、Ｐ２、Ｐ３、Ｐ４の位置関係、特徴点Ｐ１、Ｐ２、Ｐ３、Ｐ４の円形範囲内の座標における画素値、及び第一矩形範囲Ａ１内の座標における画素値などに基づいて機械学習を行う。その後、学習部１３は、次の魚体ＩＤに紐づく情報がデータベース１０４に記録されているか否かを判定する（Ｓ２０４）。学習部１３は、次の魚体ＩＤが存在する場合には、その魚体ＩＤについてステップＳ２０２乃至Ｓ２０３を繰り返す。
　そして、学習部１３は、撮影画像に映る魚体一体が収まる矩形範囲を自動特定するための第一学習データを生成する。また、学習部１３は、撮影画像に映る魚体一体の特徴点Ｐ１、Ｐ２、Ｐ３、Ｐ４を自動特定するための第二学習データを生成する。第一学習データは、例えば、新たに取得した撮影画像内に設定した矩形範囲が魚体一体のみを含む矩形範囲であるか否かの判定結果を出力するためのニューラルネットワークを決定するためのデータである。第二学習データは、例えば、撮影画像内に設けた範囲が特徴点Ｐ１を含む範囲か、撮影画像内に設けた範囲が特徴点Ｐ２を含む範囲か、撮影画像内に設けた範囲が特徴点Ｐ３を含む範囲か、撮影画像内に設けた範囲が特徴点Ｐ４を含む範囲か、撮影画像内に設けた範囲が特徴点Ｐ１、Ｐ２、Ｐ３、Ｐ４を含まない範囲かの判定結果を出力するためのニューラルネットワークを決定するためのデータである。学習部１３は、第一学習データと第二学習データとをデータベース１０４に記録する（Ｓ２０５）。
　上述の学習処理により、特徴推定装置１は、撮影画像に映る魚体一体が収まる第一矩形範囲Ａ１と、魚体一体の複数の特徴点Ｐ１、Ｐ２、Ｐ３、Ｐ４と、を自動認識するための学習データを生成することができる。
　上述の機械学習処理において、学習部１３は、データベース１０４に記録されている正解データとなる撮影画像に対して増殖処理（Ｄａｔａ　Ａｕｇｍｅｎｔａｔｉｏｎ）を行って、増殖された多くの正解データを用いて第一学習データや第二学習データを生成するようにしてもよい。なお、正解データの増殖処理につては、公知の手法を用いることができる。例えば、Ｒａｎｄｏｍ　Ｃｒｏｐ手法、Ｈｏｒｉｚｏｎｔａｌ　Ｆｌｉｐ手法、第一Ｃｏｌｏｒ　Ａｕｇｍｅｎｔａｔｉｏｎ手法、第二Ｃｏｌｏｒ　Ａｕｇｍｅｎｔａｔｉｏｎ手法、第三Ｃｏｌｏｒ　Ａｕｇｍｅｎｔａｔｉｏｎ手法などを利用することができる。
　Ｒａｎｄｏｍ　Ｃｒｏｐ手法では、学習部１３は、例えば、撮影画像を２５６画素×２５６画素の画像にリサイズし、そのリサイズ画像から２２４画素×２２４画素の画像をランダムに複数取り出して、新たな撮影画像とする。学習部１３は、新たな撮影画像を用いて上述の機械学習処理を行う。Ｈｏｒｉｚｏｎｔａｌ　Ｆｌｉｐ手法では、学習部１３は、撮影画像の画素を水平方向に反転して新たな撮影画像とする。学習部１３は、新たな撮影画像を用いて上述の機械学習処理を行う。
　第一Ｃｏｌｏｒ　Ａｕｇｍｅｎｔａｔｉｏｎ手法は、撮影画像内の画素のＲＧＢ値を３次元ベクトルの集合とみなして、特徴推定装置１が３次元ベクトルの主成分分析（ＰＣＡ：Ｐｒｉｎｃｉｐａｌ　Ｃｏｍｐｏｎｅｎｔ　Ａｎａｌｙｓｉｓ）を行う。そして、学習部１３は、ガウス分布を用いてノイズを生成し、撮影画像の画素に対して主成分分析によるＲＧＢの３次元ベクトルの固有ベクトル方向にノイズを加えて新たな画像を生成する。学習部１３は、新たな画像を用いて機械学習処理を行う。この手法は、学習部１３が、撮影画像の色情報の主成分分析により定めた色空間における色情報の主成分の分散が最大となる方向（軸方向）に撮影画像の色情報を変化させた複数の撮影画像を用いて学習データを生成する手法の一態様である。学習部１３により、撮影画像の色の主成分の傾向に応じて正解データの増殖を行い、その増殖後の正解データを用いて学習処理を行うので、増殖後の色成分について増殖前の色成分と離れた正解データを用いることなく、学習処理を行うことができる。これにより、分析装置１は、学習処理により得られた学習データによる自動認識処理の精度を高めることができる。
　第二Ｃｏｌｏｒ　Ａｕｇｍｅｎｔａｔｉｏｎ手法では、学習部１３は、撮影画像の画素のコントラスト、明度、及びＲＧＢ値を例えば０．５倍乃至１．５倍の範囲でランダムに変更する。その後、学習部１３は、第一Ｃｏｌｏｒ　Ａｕｇｍｅｎｔａｔｉｏｎ手法と同様の手法により、新たな画像を生成する。学習部１３は、新たな画像を用いて機械学習処理を行う。
　第三Ｃｏｌｏｒ　Ａｕｇｍｅｎｔａｔｉｏｎでは、学習部１３は、異なる撮影環境条件下において撮影された異なる色味の撮影画像を、基準撮影条件下における撮影画像の色彩に補正する。そして、学習部１３は、その補正を施した後の撮影画像における第一矩形範囲と複数の特徴点とに基づいて、第一学習データと第二学習データを生成するよう機械学習処理を行う。水中で魚を撮影する場合、撮影場所や水質、季節、天候によって、撮影画像の色彩が変化することがある。正解データがカラー映像の場合、特徴推定装置１は、色味が異なる撮影画像に基づいて学習データを生成すると、その学習データを用いて特徴点を正確に認識できないことが想定される。従って、学習部１３は、正解データとして、撮影場所や水質、季節、天候などについて様々な撮影条件下で撮影された撮影画像を取得する。そして、学習部１３は、それらの撮影画像を用いて学習処理を行う際に、全ての正解データの撮影画像における水の色が同じ色になるように、撮影画像全体に色補正を行う。特徴推定装置１の特徴点推定部１５は、色補正に係る情報（例えば、色補正係数など）を撮影条件とともに記憶する。その後、特徴点推定部１５は新たな撮影画像から魚体を含む矩形範囲や魚体の特徴点を認識する際に、撮影条件ンと色補正情報の組み合わせを取得する。特徴点推定部１５は、複数の撮影条件から最も撮影画像に近い撮影条件を選択し、その撮影条件に対応する色補正情報を用いて撮影画像に色補正を施す。特徴点推定部１５は、その色補正後の撮影画像を用いて自動認識処理を行う。上述のように、学習部１３は、異なる色味に対応する異なる撮影条件下で撮影された撮影画像について色彩を統一することにより、正解データとなる撮影画像の撮影条件を仮想的に統一して正解データを生成し、その正解データを用いて適切に学習処理を行うことができる。このため、特徴推定装置１は、学習処理により得られた学習データによる自動認識処理の精度を高めることができる。
　学習部１３は、撮影画像に対する複数の増殖処理手法のうち１つを用いてもよく、或いは、複数の増殖処理を用いてもよい。作業者は、複数の増殖処理手法の全部を組み合わせて一度に用いずに、１つの手法、２つの手法、３つの手法のように徐々に複数の手法の組み合わせ数を増加して生成した学習データに基づく評価を行う。なお、作業者は、増殖処理手法を追加して撮影画像の第一矩形範囲Ａ１や特徴点を特定しても、その認識精度が改善しない場合には、複数の手法の組み合わせにより生成した学習データの採用を中止する。
　学習部１３は、増殖した正解データとなる複数の撮影画像を記憶し、複数の撮影画像中に類似度が一致する撮影画像が含まれる場合には、類似度の高い撮影画像を学習処理に使用しないようにしてもよい。例えば、学習部１３は、増殖した正解データとなる複数の撮影画像それぞれに対してスコア（例えば、スカラー値、ベクトル値）を生成して、撮影画像間のスコアを比較する。学習部１３は、スコアの近い撮影画像のうちの一方を不要な画像と判定する。学習部１３は、不要と判定した撮影画像の傾向を捉えるために、それらの撮影画像の画素のＲＧＢ値について主成分分析を行う。学習部１３は、主成分分析により算出した主成分（固有ベクトル）とその閾値を記憶する。学習部１３は、新たに増殖処理により生成された撮影画像に対して固有ベクトルを用いて主成分得点（固有ベクトルとＲＧＢ値の内積）を画素毎に求めて集計する。その集計値と閾値とを比較して、集計値が閾値を超える場合には、新たに生成した撮影画像を学習処理に利用しないと判定する。上述の処理により、無駄な撮影画像の増殖を抑えることができる。
　次に、特徴推定装置１の自動認識処理について説明する。図８は、特徴推定装置１の自動認識処理を示すフローチャートである（ステップＳ３０１～Ｓ３１６）。特徴推定装置１は、ステレオカメラ２が所定時間中に生成した撮影画像データを受信する（Ｓ３０１）。分析装置１は、撮影画像データに含まれる所定時間間隔で撮影した撮影画像を順次取得する。このとき、撮影画像取得部１１は、同時刻に撮影された第一撮影画像と第二撮影画像とを取得する。撮影画像取得部１１は、第一撮影画像と第二撮影画像にそれぞれ識別情報（ＩＤ）を付与する。撮影画像取得部１１は、第一撮影画像とＩＤ、第二撮影画像とＩＤ、を紐づけるとともに、第一撮影画像と第二撮影画像とを紐づけて、新たな自動認識処理対象の撮影画像としてデータベース１０４に記録する（Ｓ３０２）。ステレオカメラ２は、撮影開始から所定の撮影時間経過後に撮影を終了する。所定の撮影時間は、例えば、撮影対象である魚が生簀４の中心を軸として一方向に連続して回遊する場合、一個体が生簀４内を一回転回遊する時間であってもよい。なお、所定の撮影時間は、予め定めてもよい。撮影画像取得部１１は、撮影画像データの受信が停止すると、撮影画像取得処理を停止する。これにより、所定の時間間隔で生成された第一撮影画像と第二撮影画像との組み合わせが複数データベース１０４に記録される。なお、撮影画像データは、動画像データを構成する撮影画像であってもよく、或いは、静止画像データを構成する撮影画像であってもよい。
　撮影画像取得部１１は、ステレオカメラ２の左右のレンズ２１、２２に対応する動画像データを取得した場合、動画像データを構成する複数の撮影画像のうち所定時間間隔の撮影時刻に対応する撮影画像を魚の特徴点の自動認識対象として、順次取得してもよい。所定時間間隔は、例えば、魚が矩形範囲の撮影画像の左右の一端から他端まで通り過ぎる時間としてもよい。分析装置１は、所定時間間隔で取得した撮影画像を用いて、その撮影画像に映る一体又は複数体の魚体の特徴点を推定する。
　そして、作業者の自動認識開始指示又は撮影画像の取得完了を検出して、特徴点推定部１５が自動認識処理を開始する（Ｓ３０３）。特徴点推定部１５は、学習データ取得部１４に学習データの取得を指示する。学習データ取得部１４は、データベース１０４に記録されている第一学習データと第二学習データとを取得して、特徴点推定部１５へ送出する。特徴点推定部１５は、データベース１０４から１つ目の対の第一撮影画像と第二撮影画像とをそれらの画像ＩＤに応じて取得する（Ｓ３０４）。特徴点推定部１５は、撮影画像に対して第一学習データに基づいて特定されたニューラルネットワークを用いて自動認識処理を開始し、撮影画像において魚体一体が含まれる第二矩形範囲Ａ２（図９参照）を特定する（Ｓ３０５）。
　なお、学習部１３では第三Ｃｏｌｏｒ　Ａｕｇｍｅｎｔａｔｉｏｎ手法により基準撮影条件における色彩に補正した撮影画像を用いて学習処理を行っているものとして、特徴点推定部１５の処理を説明する。この場合、特徴点推定部１５は、ステップＳ３０４で取得した撮影画像を、第三Ｃｏｌｏｒ　Ａｕｇｍｅｎｔａｔｉｏｎ手法と同様に補正し、その補正後の撮影画像に映る水中生物の特徴点を推定する。特徴点推定部１５の処理により、第三Ｃｏｌｏｒ　Ａｕｇｕｍｅｎｔａｔｉｏｎ手法を用いて生成された学習データを用いて自動認識処理を行うため、水中生物の特徴点に係る自動認識精度を高めることができる。
　次に、特徴点推定部１５は、第二矩形範囲Ａ２の画素と、第二学習データに基づいて特定されるニューラルネットワークとを用いて自動認識処理を開始し、第二矩形範囲Ａ２における特徴点Ｐ１、Ｐ２、Ｐ３、Ｐ４の円形範囲を特定する（Ｓ３０６）。このとき、特徴点推定部１５は、第二矩形範囲Ａ２の中心座標を基準に上下左右に例えば数ピクセルから数十ピクセル程度拡大して第三矩形範囲Ａ３を設定するか、或いは、第二矩形範囲Ａ２の大きさを数十パーセント拡大した第三矩形範囲Ａ３を設定し、その第三矩形範囲Ａ３の画素と、第二学習データに基づいて特定されたニューラルネットワークとを用いて自動認識処理を行う。第二矩形範囲Ａ２を第三矩形範囲Ａ３に拡大することにより、背景画像をより多く取り込むことができるので、特徴点Ｐ１、Ｐ２、Ｐ３、Ｐ４の円形範囲の認識精度を向上することができる。
　図９は、上述の自動認識処理を施した撮影画像の一例を示す。特徴点推定部１５は、撮影画像に映る複数の魚体のうち何れかの魚体を囲む第二矩形範囲Ａ２、又は第二矩形範囲Ａ２を拡大した第三矩形範囲Ａ３を特定する。なお、特徴点推定部１５は、撮影画像の上下左右の端部において魚の頭や尾ひれなどが切れているような撮影画像についても推定処理により特徴点を特定する。しかし、データ破棄部１７は、撮影画像の端部の外に推定された特徴点を含む推定結果を特徴点の座標に基づいて検出し、その推定結果に係るデータを破棄するようにしてもよい。
　特徴点推定部１５は、同時刻に撮影された第一撮影画像と第二撮影画像のそれぞれについて、特徴点Ｐ１、Ｐ２、Ｐ３、Ｐ４の円形範囲を特定する。第一撮影画像に映る魚体と第二撮影画像に映る魚体とが同一個体を示す魚体となるよう機械学習によって調整されるため、第一学習データは、学習部１３によって生成された学習データである。これにより、ステレオカメラ２から取得した２つの撮影画像における同一魚体を示す第二矩形範囲Ａ２を特定するための学習データを生成することができる。また、特徴点推定部１５は、第一撮影画像と第二撮影画像のそれぞれに映る魚の同一個体を囲む第二矩形範囲Ａ２を特定する。特徴点推定部１５は、第一撮影画像と第二撮影画像それぞれにおいて特定した第二矩形範囲Ａ２に含まれる魚体の魚体ＩＤを生成し、その魚体ＩＤと撮影画像において特定した特徴点Ｐ１、Ｐ２、Ｐ３、Ｐ４の円形範囲の代表座標（例えば、中心の座標）を、魚の特徴点の自動認識結果としてデータベース１０４に記録する（Ｓ３０７）。
　特徴点推定部１５は、同一撮影画像において他の魚体を含む第二矩形範囲Ａ２又は、第二矩形範囲Ａ２を拡大した第三矩形範囲Ａ３を特定できるか判定する（Ｓ３０８）。特徴点推定部１５は、同一撮影画像において他の魚体を含む第二矩形範囲Ａ２又は第三矩形範囲Ａ３を特定できる場合、上述のステップＳ３０５乃至Ｓ３０７を繰り返す。他の魚体を含む第二矩形範囲Ａ２又は第三矩形範囲Ａ３を特定できない場合、特徴点推定部１５は、次の未処理の自動認識処理対象の撮影画像の画像ＩＤがデータベース１０４に記録されているか否か判定する（Ｓ３０９）。特徴点推定部１５は、未処理の自動認識処理対象の撮影画像の画像ＩＤがデータベース１０４に記録されている場合、ステップＳ３０４乃至Ｓ３０８を繰り返す。特徴点推定部１５は、未処理の自動認識処理対象の撮影画像の画像ＩＤがデータベース１０４に記録されていない場合、自動認識処理を終了する。
　図１０は、自動認識処理の結果に基づく自動認識画像の一例を示す。図１０に示すように、特徴点推定部１５は、第一撮影画像（例えば、右側レンズ２１により撮影された画像）において、第二矩形範囲Ａ２－Ｒ１又は第三矩形範囲Ａ３－Ｒ１を特定する。特徴点推定部１５は、第二矩形範囲Ａ２－Ｒ１又は第三矩形範囲Ａ３－Ｒ１において、特徴点Ｐ１－Ｒ１、Ｐ２－Ｒ２、Ｐ３－Ｒ１、Ｐ４－Ｒ１を特定する。また、特徴点推定部１５は、第二撮影画像（例えば、左側レンズ２２により撮影された画像）において、第二矩形範囲Ａ２－Ｌ１又は第三矩形範囲Ａ３－Ｌ１を特定する。特徴点推定部１５は、第二矩形範囲Ａ２－Ｌ１又は第三矩形範囲Ａ３－Ｌ１において、特徴点Ｐ１－Ｌ１、Ｐ２－Ｌ２、Ｐ３－Ｌ１、Ｐ４－Ｌ１を特定する。
　図１１は、自動認識処理の結果に基づく自動認識画像の他の例を示す。特徴点推定部１５は、第一撮影画像に映る他の魚の特徴点も特定する。具体的には、特徴点推定部１５は、第一撮影画像において他の第二矩形範囲Ａ２―Ｒ２又は他の第三矩形範囲Ａ３―Ｒ２を特定する。特徴点推定部１５は、第二矩形範囲Ａ２－Ｒ２又は第三矩形範囲Ａ３－Ｒ２において、特徴点Ｐ１－Ｒ２、Ｐ２－Ｒ２、Ｐ３－Ｒ２、Ｐ４－Ｒ２を特定する。また、特徴点推定部１５は、第一撮影画像においてさらに第二矩形範囲Ａ２―Ｒ３又は他の第三矩形範囲Ａ３―Ｒ３を特定する。特徴点推定部１５は、第二矩形範囲Ａ２－Ｒ３又は第三矩形範囲Ａ３－Ｒ３において、特徴点Ｐ１－Ｒ３、Ｐ２－Ｒ３、Ｐ３－Ｒ３、Ｐ４－Ｒ３を特定する。
特徴点推定部１５は、第二撮影画像に映る他の魚の特徴点も特定する。具体的には、特徴点推定部１５は、第二撮影画像において他の第二矩形範囲Ａ２―Ｌ２又は他の第三矩形範囲Ａ３―Ｌ２を特定する。特徴点推定部１５は、第二矩形範囲Ａ２－Ｌ２又は第三矩形範囲Ａ３－Ｌ２において、特徴点Ｐ１－Ｌ２、Ｐ２－Ｌ２、Ｐ３－Ｌ２、Ｐ４－Ｌ２を特定する。また、特徴点推定部１５は、第二撮影画像においてさらに第二矩形範囲Ａ２―Ｌ３又は他の第三矩形範囲Ａ３―Ｌ３を特定する。特徴点推定部１５は、第二矩形範囲Ａ２－Ｌ３又は第三矩形範囲Ａ３－Ｌ３において、特徴点Ｐ１－Ｌ３、Ｐ２－Ｌ３、Ｐ３－Ｌ３、Ｐ４－Ｌ３を特定する。
　特徴点推定部１５は、撮影画像に含まれる魚体の特徴点や第二矩形範囲Ａ２や第三矩形範囲Ａ３に係る情報を魚体ＩＤに紐づけてデータベース１０４に記録する。出力部１９は、自動認識処理の結果に基づく自動認識画像（図１１）を作業者が利用する端末３のモニタに表示してもよい。この場合、作業者が選択した画像ＩＤに対応する第一撮影画像と第二撮影画像において、それぞれ対応する魚体を含む第二矩形範囲Ａ２や第三矩形範囲Ａ３と、特徴点Ｐ１、Ｐ２、Ｐ３、Ｐ４をモニタに表示する。第一撮影画像や第二撮影画像において、複数の魚体を認識できた場合は、出力部１９は、例えば、同一個体に係る魚体を含む第二矩形範囲Ａ２や第三矩形範囲Ａ３の枠の色を同じ色に設定するか、或いは、魚体の個体毎に異なる色を設定して、モニタに表示してもよい。
　特徴点推定部１５は、全ての自動認識処理対象の撮影画像について魚の特徴点の自動認識処理を終了すると、大きさ推定部１８に魚体の大きさの推定処理の開始を指示する。大きさ推定部１８は、魚の特徴点の自動認識処理の結果から、未選択の魚体ＩＤに紐づく第一撮影画像から抽出した特徴点Ｐ１、Ｐ２、Ｐ３、Ｐ４の代表座標と、第二撮影画像から抽出した特徴点Ｐ１、Ｐ２、Ｐ３、Ｐ４の代表座標を読み取る（Ｓ３１０）。大きさ推定部１８は、一例として、ＤＬＴ（Ｄｉｒｅｃｔ　Ｌｉｎｅａｒ　Ｔｒａｎｓｆｏｒｍａｔｉｏｎ）手法などの公知の３次元座標換算手法を用いて、特徴点Ｐ１、Ｐ２、Ｐ３、Ｐ４に対応する３次元空間における３次元座標を算出する（Ｓ３１１）。ＤＬＴ手法では、撮影画像中の点の座標と実際の２次元座標及び３次元座標との関係を表す較正係数を予め計算しておき、較正係数を用いて撮影画像内の点から３次元座標を求める。
　大きさ推定部１８は、特徴点Ｐ１、Ｐ２、Ｐ３、Ｐ４の３次元座標に基づいて、特徴点Ｐ１に対応する３次元座標と特徴点Ｐ２に対応する３次元座標とを結ぶ尾叉長と、特徴点Ｐ３に対応する３次元座標と特徴点Ｐ４に対応する３次元座標とを結ぶ体高とを算出する（Ｓ３１２）。大きさ推定部１８は、尾叉長と体高を変数として魚の重量を算出する重量算出式に、尾叉長と体高とを代入して、魚の重量を算出する（Ｓ３１３）。大きさ推定部１８は、魚の特徴点の自動認識処理の結果から全ての魚体ＩＤを選択して魚の大きさを算出したか判定する（Ｓ３１４）。魚の特徴点の自動認識処理の結果から全ての魚体ＩＤを選択して魚の大きさを算出していない場合には、大きさ推定部１８はステップＳ３１０乃至Ｓ３１３を繰り返す。
　出力部１９は、魚体ＩＤに対応する尾叉長、体高、及び重量に基づいて、生簀４で育成されている魚の統計情報を算出する（Ｓ３１５）。出力部１９は、魚体ＩＤに対応する尾叉長、体高、重量やそれらの統計情報を示す出力情報を生成して、所定装置へ出力する（Ｓ３１６）。例えば、出力部１９は、生簀４の管理者が確認する端末へ出力データを出力する。
　上述のように、第一学習データや第二学習データを用いた自動認識処理により、撮影画像に映る魚などの水中生物の形状特徴を特定する特徴点を推定する。特徴推定装置１は、分析装置１は、第一学習データや第二学習データを予め生成しておくことで、認識処理対象である多数の魚のテンプレート画像をデータベースに記録することなく、学習データを用いた自動認識処理により、魚の特徴点を高い精度で特定することができる。
　上述の処理において、同一個体特定部１６は、第一撮影画像と第二撮影画像に映る同一個体の魚体を認識する。具体的には、同一個体特定部１６は、特徴点推定部１５からの要求に応じて、第一撮影画像と第二撮影画像のそれぞれにおいて特定された第二矩形範囲Ａ２の座標を特徴点推定部１５から取得する。同一個体特定部１６は、第一撮影画像から特定した第二矩形範囲Ａ２と、第二撮影画像から特定した第二矩形範囲Ａ２のいずれか一方において、他方と重なる範囲が、所定閾値（例えば、７０％）以上であるか判定する。第一撮影画像の第二矩形範囲Ａ２と、第二撮影画像の第二矩形範囲Ａ２のいずれか一方において、他方と重なる範囲が所定閾値以上である場合、同一個体特定部１６は、２つの第二矩形範囲Ａ２に含まれる魚体は同一個体であると判定する。なお、第一撮影画像と第二撮影画像の何れか一方において認識した複数の第二矩形範囲Ａ２が、他方において認識した一つ又は複数の第二矩形範囲Ａ２と、所定閾値（例えば、７０％）以上で重なっていることがある。この場合、同一個体特定部１６は、第一撮影画像と第二撮影画像との間で最も重なる範囲が広い第二矩形範囲Ａ２の組み合せを特定し、その組み合わせに係る第二矩形範囲Ａ２に映る魚体は同一個体であると判定してもよい。
　また、同一個体特定部１６は、第一撮影画像から特定した特徴点と、第二撮影画像か特定した特徴点との位置のずれに基づいて、第一撮影画像と第二撮影画像における第二矩形範囲Ａ２に映る魚体が同一個体であると判定してもよい。具体的には、同一個体特定部１６は、第一撮影画像の第二矩形範囲Ａ２から特定した特徴点それぞれについて、第二撮影画像の第二矩形範囲Ａ２から特定した特徴点との位置ずれを算出する。同一個体特定部１６は、この位置ずれが所定値未満である場合、２つの第二矩形範囲Ａ２に映る魚体は同一個体であると判定する。或いは、同一個体特定部１６は、第一撮影画像と第二撮影画像とにおいて選択した第二矩形範囲Ａ２内に占める魚体の面積を算出する。同一個体特定部１６は、２つの第二矩形範囲Ａ２に占める魚体の面積の差が所定閾値（例えば、１０％）以内であれば、それらの第二矩形範囲Ａ２に映る魚体は同一個体であると判定する。
　上記の説明においては、魚の特徴点を推定する事例について特徴推知装置１の処理を説明したが、水中生物は魚に限定されるものではなく、他の水中生物（例えば、イカ、イルカ、クラゲなど）であってもよい。すなわち、特徴推定装置１は、所定の水中生物に応じた特徴点を推定してもよい。
　データ破棄部１７は、大きさ推定部１８により算出された魚の尾叉長、体高、及び重量の推定値が正確でないと判定できる所定条件に合致する場合には、それらの推定値を破棄してもよい。例えば、データ破棄部１７は、推定値が「推定値の平均値＋標準偏差×２」の範囲に含まれない場合には、その推定値は正確ではないと判定してもよい。
　また、データ破棄部１７は、魚などの水中生物に対する自動認識処理の結果の特徴点Ｐ１、Ｐ２、Ｐ３、Ｐ４の位置関係が、特徴点の平均位置関係や事前に登録されている基準位置関係と比較して著しく乖離している場合には、その自動認識処理の結果の特徴点Ｐ１、Ｐ２、Ｐ３、Ｐ４に係る情報を破棄してもよい。例えば、特徴点Ｐ１とＰ２を結ぶ尾叉長の線より腹ひれの特徴点Ｐ４が撮影画像において上方に位置する場合には、データ破棄部１７は、自動認識処理の結果の特徴点Ｐ１、Ｐ２、Ｐ３、Ｐ４に係る情報を破棄する。また、尾叉長と体高との比が、平均値や基準値と比較して２０％以上乖離している場合には、データ破棄部１７は、自動認識処理の結果の特徴点Ｐ１、Ｐ２、Ｐ３、Ｐ４に係る情報を破棄する。
　データ破棄部１７は、情報が正確でないと判定できる所定条件に関する基準スコア値を記憶し、所定条件に応じた自動認識処理の結果のスコア値を算出して、そのスコア値が基準スコア値以上或いは未満の場合に、自動認識処理の結果の特徴点Ｐ１、Ｐ２、Ｐ３、Ｐ４に係る情報を自動的に破棄してもよい。また、データ破棄部１７は、データ破棄の判定がなされた自動認識処理の結果の情報を含む確認情報をモニタに表示し、作業者からデータ破棄了承の操作を受け付けた場合に、データ破棄の判定がなされた自動認識処理の結果の情報を破棄してもよい。上記のデータ破棄部１７の処理により、水中生物の特徴点に基づいて算出する水中生物の大きさの統計情報の精度を高めることができる。
　図１２は、特徴推定装置１の最小構成を示す。特徴推定装置１は、学習データ取得部１４と、特徴点推定部１５とを備えればよい。学習データ取得部１４は、水中生物の撮影画像と、撮影画像に映る水中生物の形状特徴を特定するための特徴点とに基づいて機械学習により生成された学習データを取得する。特徴点推定部１５は、学習データを用いた自動認識処理により撮影画像に映る水中生物の形状特徴を特定する特徴点を推定する。
　特徴推定装置１は、内部にコンピュータシステムを有しており、上述の処理過程はコンピュータプログラムとしてコンピュータ読取可能な記憶媒体に記憶されており、コンピュータがコンピュータプログラムを読み出して実行することにより、上述の処理過程を実現する。ここで、コンピュータ読取可能な記憶媒体とは、磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、半導体メモリなどを意味する。また、コンピュータプログラムを通信回線経由でコンピュータに配信し、コンピュータがコンピュータプログラムを実行するようにしてもよい。
　上記のコンピュータプログラムは、前述の分析装置１の機能の一部を実現するものであってもよい。また、前述の機能をコンピュータシステムに既に記録されているプリインストールプログラムとの組み合わせで実現するような差分ファイル（差分プログラム）であってもよい。
　なお、上記の実施形態の一部又は全部は、以下のように定義することができる。
　（付記１）水中生物の撮影画像と、撮影画像に映る水中生物の形状特徴を示す特徴点とに基づいて機械学習により生成された学習データを取得する学習データ取得部と、学習データを用いて自動認識処理を行い、撮影画像に映る水中生物の形状特徴を示す特徴点を特定する特徴点推定部と、を備える特徴推定装置。
　（付記２）特徴推定装置は、前記撮影画像に映る前記水中生物の一体が収まる第一矩形範囲と、前記一体の水中生物の形状特徴を示す複数の特徴点と、に基づいて前記学習データを生成する学習部をさらに備える。
　（付記３）特徴推定装置は、水中生物について同時刻に異なる位置で撮影された第一撮影画像と第二撮影画像を撮影する撮影装置を更に備え、学習部は、第一撮影画像と第二撮影画像のそれぞれについて、水中生物の一体が収まる第一矩形範囲と、一体の水中生物の形状特徴を示す複数の特徴点と、に基づいて前記学習データを生成する。
　（付記４）学習部は、撮影画像に対する主成分分析により定めた色空間における色情報の主成分の最大分散方向に相当する軸方向において、撮影画像の色情報を補正した複数の撮影画像を用いて学習データを生成する。
　（付記５）学習部は、異なる色味を示す異なる撮影条件下で撮影された撮影画像の色彩を、基準撮影条件における色彩に補正し、その補正後の撮影画像における第一矩形範囲と、水中生物の形状特徴を示す複数の特徴点とに基づいて、学習データを生成する。
　（付記６）特徴点推定部は、補正後の撮影画像に映る水中生物の形状特徴を示す複数の特徴点を推定し、異なる撮影条件下の撮影画像に基づいて生成された学習データを用いて自動認識処理を行う。
　（付記７）特徴点推定部は、撮影画像に映る水中生物の一体が収まる第二矩形範囲を自動認識処理により検出するとともに、第二矩形範囲より広い第三矩形範囲を設定し、第三矩形範囲に映る水中生物の特徴点を自動認識処理により推定する。
　（付記８）特徴点推定部は、同時刻において異なる位置から撮影された第一撮影画像と第二撮影画像のそれぞれについて、第二矩形範囲を検出するとともに、第二矩形範囲より広い第三矩範囲を設定し、第三矩形範囲に映る水中生物の特徴点を自動認識処理により推定する。
　（付記９）特徴推定装置は、第一撮影画像と第二撮影画像のそれぞれに映る水中生物を同一個体として特定する同一個体特定部を更に備える。
　（付記１０）特徴推定装置は、特徴点推定部が自動認識処理により水中生物の形状特徴を示す複数の特徴点を推定したが、自動認識処理の推定結果が異常と判定した場合、その推定結果を破棄するデータ破棄部を更に備える。
　（付記１１）特徴推定装置は、撮影画像に映る水中生物の形状特徴を示す特徴点に基づいて、水中生物の大きさを推定する大きさ推定部を更に備える。
　（付記１２）特徴推定方法は、水中生物の撮影画像と、撮影画像に映る水中生物の形状特徴を示す特徴点とに基づいて機械学習により生成された学習データを取得し、学習データを用いて自動認識処理を行い、撮影画像に映る水中生物の形状特徴を示す特徴点を特定する。
　（付記１３）記憶装置は、水中生物の撮影画像と、撮影画像に映る水中生物の形状特徴を示す特徴点とに基づいて機械学習により生成された学習データを取得する処理過程と、学習データを用いて自動認識処理を行い、撮影画像に映る水中生物の形状特徴を示す特徴点を特定する処理過程と、をコンピュータに実行させるプログラムを記憶する。
　最後に、本発明について上述の実施形態を用いて詳細に説明したが、本発明は実施形態に限定されるものではなく、添付した特許請求の範囲に規定される発明の範囲内における種々の改造や設計変更をも包含するものである。
　本願は、２０１８年４月１３日に、日本国に出願された特願２０１８－７７８５４号に基づき優先権を主張し、その内容をここに援用する。
　本発明は、生簀などで育成される魚などの水中生物の形状特徴の特徴点を推定するものであるが、水中生物は魚に限定されず、他の水中生物であってもよい。また、特徴点推定対象は、生簀内の水産物に限定されるものではなく、例えば、海洋における水棲生物の形状特徴の特徴点を推定することも可能である。
１　特徴推定装置
２　ステレオカメラ
３　端末
１１　撮影画像取得部
１２　特徴指定受付部
１３　学習部
１４　学習データ取得部
１５　特徴点推定部
１６　同一個体特定部
１７　データ破棄部
１８　大きさ推定部
１９　出力部
１００　水中生物監視システム

Claims (10)

  1. 　水中生物の撮影画像と、前記撮影画像に映る前記水中生物の形状特徴を示す特徴点とに基づいて機械学習により生成された学習データを取得する学習データ取得部と、
    　前記学習データを用いて自動認識処理を行い、前記撮影画像に映る前記水中生物の形状特徴を示す特徴点を特定する特徴点推定部と、
    　を備える特徴推定装置。
  2. 　前記撮影画像に映る前記水中生物の一体が収まる第一矩形範囲と、前記一体の水中生物の形状特徴を示す複数の特徴点と、に基づいて前記学習データを生成する学習部、をさらに備える請求項１に記載の特徴推定装置。
  3. 　前記水中生物について同時刻に異なる位置で撮影された第一撮影画像と第二撮影画像を撮影する撮影装置を更に備え、
    　前記学習部は、前記第一撮影画像と前記第二撮影画像のそれぞれについて、前記水中生物の一体が収まる前記第一矩形範囲と、前記一体の水中生物の形状特徴を示す複数の特徴点と、に基づいて前記学習データを生成する、請求項２に記載の特徴推定装置。
  4. 　前記学習部は、前記撮影画像に対する主成分分析により定めた色空間における色情報の主成分の最大分散方向に相当する軸方向において、前記撮影画像の前記色情報を補正した複数の撮影画像を用いて前記学習データを生成する、請求項２に記載の特徴推定装置。
  5. 　前記学習部は、異なる色味を示す異なる撮影条件下で撮影された前記撮影画像の色彩を、基準撮影条件における色彩に補正し、その補正後の撮影画像における前記第一矩形範囲と、前記水中生物の形状特徴を示す複数の特徴点とに基づいて、前記学習データを生成する、請求項２に記載の特徴推定装置。
  6. 　前記特徴点推定部は、前記補正後の撮影画像に映る前記水中生物の形状特徴を示す前記複数の特徴点を推定し、前記異なる撮影条件下の前記撮影画像に基づいて生成された前記学習データを用いて前記自動認識処理を行う、請求項５に記載の特徴推定装置。
  7. 　前記特徴点推定部が前記自動認識処理により前記水中生物の形状特徴を示す複数の特徴点を推定したが、前記自動認識処理の推定結果が異常と判定した場合、前記推定結果を破棄するデータ破棄部を更に備える、請求項１乃至請求項６の何れか一項に記載の特徴推定装置。
  8. 　前記撮影画像に映る前記水中生物の形状特徴を示す前記特徴点に基づいて、前記水中生物の大きさを推定する大きさ推定部を更に備える、請求項１乃至請求項６の何れか一項に記載の特徴推定装置。
  9. 　水中生物の撮影画像と、前記撮影画像に映る前記水中生物の形状特徴を示す特徴点とに基づいて機械学習により生成された学習データを取得し、
    　前記学習データを用いて自動認識処理を行い、前記撮影画像に映る前記水中生物の形状特徴を示す特徴点を特定する、
    　を備える特徴推定方法。
  10. 　水中生物の撮影画像と、前記撮影画像に映る前記水中生物の形状特徴を示す特徴点とに基づいて機械学習により生成された学習データを取得する処理過程と、
    　前記学習データを用いて自動認識処理を行い、前記撮影画像に映る前記水中生物の形状特徴を示す特徴点を特定する処理過程と、をコンピュータに実行させるプログラムを記憶した記憶媒体。
PCT/JP2019/014947 2018-04-13 2019-04-04 特徴推定装置および特徴推定方法 WO2019198611A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020513232A JP7074185B2 (ja) 2018-04-13 2019-04-04 特徴推定装置および特徴推定方法、プログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-077854 2018-04-13
JP2018077854 2018-04-13

Publications (1)

Publication Number Publication Date
WO2019198611A1 true WO2019198611A1 (ja) 2019-10-17

Family

ID=68164080

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/014947 WO2019198611A1 (ja) 2018-04-13 2019-04-04 特徴推定装置および特徴推定方法

Country Status (2)

Country Link
JP (1) JP7074185B2 (ja)
WO (1) WO2019198611A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021065159A (ja) * 2019-10-24 2021-04-30 中央電子株式会社 水産物識別方法、水産物識別プログラム、及び水産物識別システム
WO2021149816A1 (ja) * 2020-01-23 2021-07-29 ソフトバンク株式会社 推定プログラム、推定方法および情報処理装置
US11164291B2 (en) 2020-01-14 2021-11-02 International Business Machines Corporation Under water image color correction
NO20201081A1 (en) * 2020-10-05 2022-04-06 Fishency Innovation As Generating three dimensional skeleton representations of aquatic animals using machine learning

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003250382A (ja) * 2002-02-25 2003-09-09 Matsushita Electric Works Ltd 水棲生物の成育状態監視方法及びその装置
JP2010191592A (ja) * 2009-02-17 2010-09-02 Seiko Epson Corp 顔の特徴部位の座標位置を検出する画像処理装置
JP2010244321A (ja) * 2009-04-07 2010-10-28 Seiko Epson Corp 顔画像を表す顔モデルを設定する画像処理
JP2011113168A (ja) * 2009-11-25 2011-06-09 Fujifilm Corp オブジェクト検出装置および方法並びにプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003250382A (ja) * 2002-02-25 2003-09-09 Matsushita Electric Works Ltd 水棲生物の成育状態監視方法及びその装置
JP2010191592A (ja) * 2009-02-17 2010-09-02 Seiko Epson Corp 顔の特徴部位の座標位置を検出する画像処理装置
JP2010244321A (ja) * 2009-04-07 2010-10-28 Seiko Epson Corp 顔画像を表す顔モデルを設定する画像処理
JP2011113168A (ja) * 2009-11-25 2011-06-09 Fujifilm Corp オブジェクト検出装置および方法並びにプログラム

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021065159A (ja) * 2019-10-24 2021-04-30 中央電子株式会社 水産物識別方法、水産物識別プログラム、及び水産物識別システム
JP7243986B2 (ja) 2019-10-24 2023-03-22 中央電子株式会社 水産物識別方法、水産物識別プログラム、及び水産物識別システム
US11164291B2 (en) 2020-01-14 2021-11-02 International Business Machines Corporation Under water image color correction
WO2021149816A1 (ja) * 2020-01-23 2021-07-29 ソフトバンク株式会社 推定プログラム、推定方法および情報処理装置
JP2021117590A (ja) * 2020-01-23 2021-08-10 ソフトバンク株式会社 推定プログラム、推定方法および情報処理装置
NO20201081A1 (en) * 2020-10-05 2022-04-06 Fishency Innovation As Generating three dimensional skeleton representations of aquatic animals using machine learning
NO347281B1 (en) * 2020-10-05 2023-08-21 Fishency Innovation As Generating three dimensional skeleton representations of aquatic animals using machine learning

Also Published As

Publication number Publication date
JP7074185B2 (ja) 2022-05-24
JPWO2019198611A1 (ja) 2021-02-12

Similar Documents

Publication Publication Date Title
WO2019198611A1 (ja) 特徴推定装置および特徴推定方法
WO2019198701A1 (ja) 分析装置および分析方法
JP7207561B2 (ja) 大きさ推定装置、大きさ推定方法および大きさ推定プログラム
EP2662833B1 (en) Light source data processing device, method and program
CN110490196A (zh) 主体检测方法和装置、电子设备、计算机可读存储介质
CN113610741A (zh) 基于激光线扫的点云处理方法及装置
CN112861855A (zh) 基于对抗网络模型的群养猪实例分割方法
CN110392211A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
US20160044295A1 (en) Three-dimensional shape measurement device, three-dimensional shape measurement method, and three-dimensional shape measurement program
CN112633113A (zh) 跨摄像头的人脸活体检测方法及系统
JP7300895B2 (ja) 画像処理装置および画像処理方法、プログラム、並びに記憶媒体
JP7057086B2 (ja) 画像処理装置、画像処理方法、及びプログラム
CN112040132A (zh) 动物外部特征获取方法、装置及计算机设备
CN108510538B (zh) 三维图像合成方法、装置及计算机可读存储介质
US20230141945A1 (en) Quantifying biotic damage on plants, by separating plant-images and subsequently operating a convolutional neural network
WO2022171267A1 (en) System, method, and computer executable code for organism quantification
JP5616743B2 (ja) 撮像装置および画像処理方法
CN113066121A (zh) 图像分析系统和识别重复细胞的方法
JP6776532B2 (ja) 画像処理装置、撮像装置、電子機器及び画像処理プログラム
JP4504575B2 (ja) 補正パラメータの算出方法及び算出装置、該補正パラメータを利用した画像補正装置及び画像補正方法、並びに、これらに使用される標準試料
CN110460773A (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
US20240029289A1 (en) System and method for estimating a length of underwater creatures
CN115797995B (zh) 人脸活体检测方法、电子设备及存储介质
CN115100688B (zh) 一种基于深度学习的鱼类资源快速识别方法和系统
JP7309953B1 (ja) サイズ算出方法、サイズ算出装置、およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19784786

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020513232

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19784786

Country of ref document: EP

Kind code of ref document: A1