WO2018061926A1 - 計数システムおよび計数方法 - Google Patents

計数システムおよび計数方法 Download PDF

Info

Publication number
WO2018061926A1
WO2018061926A1 PCT/JP2017/033882 JP2017033882W WO2018061926A1 WO 2018061926 A1 WO2018061926 A1 WO 2018061926A1 JP 2017033882 W JP2017033882 W JP 2017033882W WO 2018061926 A1 WO2018061926 A1 WO 2018061926A1
Authority
WO
WIPO (PCT)
Prior art keywords
photographing
measured
counting system
information processing
image
Prior art date
Application number
PCT/JP2017/033882
Other languages
English (en)
French (fr)
Inventor
丈晴 北川
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2018542456A priority Critical patent/JP6583565B2/ja
Publication of WO2018061926A1 publication Critical patent/WO2018061926A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01K—ANIMAL HUSBANDRY; AVICULTURE; APICULTURE; PISCICULTURE; FISHING; REARING OR BREEDING ANIMALS, NOT OTHERWISE PROVIDED FOR; NEW BREEDS OF ANIMALS
    • A01K61/00—Culture of aquatic animals
    • A01K61/90—Sorting, grading, counting or marking live aquatic animals, e.g. sex determination
    • A01K61/95—Sorting, grading, counting or marking live aquatic animals, e.g. sex determination specially adapted for fish
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06M—COUNTING MECHANISMS; COUNTING OF OBJECTS NOT OTHERWISE PROVIDED FOR
    • G06M11/00—Counting of objects distributed at random, e.g. on a surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes

Definitions

  • the present invention relates to a technique for measuring the number of objects using a photographing apparatus.
  • Patent Document 1 discloses a configuration for measuring the number of fish. That is, in the configuration in Patent Document 1, the camera captures the fish in the ginger from the side of the ginger, the information processing apparatus tracks the fish by analyzing the captured image, and the tracking result is obtained. Use it to count the fish in the ginger.
  • Patent Document 2 a camera photographs a fish in a room from the upper side of a room containing fish, and a computer detects a fish shadow from the captured image and detects it as a fish shadow in the captured image.
  • a configuration is shown in which the presence / absence and number of fish shadows are determined based on the area of the region that has been set.
  • Patent Document 1 the camera captures fish from the side of the ginger
  • Patent Document 2 the camera captures fish from the upper side of the room.
  • the image taken by the camera for example, the image of the fish that is away from the camera, for example, the bottom side of the side opposite to the ginger or the bottom of the room is small or blurred. It may be inappropriate as a video to be processed. In such a case, there may be a problem that the number of fish cannot be accurately measured from the captured image.
  • a main object of the present invention is to provide a technique capable of increasing the accuracy of counting objects when the number of objects is measured using images captured by a photographing device.
  • the counting system of the present invention comprises: A plurality of photographing devices arranged at intervals in the height direction in a predetermined photographing space; And an information processing device that measures the number of objects to be measured in the imaging space based on images captured by the plurality of imaging devices.
  • the counting method of the present invention is: A plurality of photographing devices are arranged at intervals in the height direction within a predetermined photographing space, The number of objects to be measured in the imaging space is measured based on images taken by the plurality of imaging devices.
  • the accuracy of object counting when the number of objects is measured using the images captured by the imaging device, the accuracy of object counting can be increased.
  • FIG. 1 shows an example of the reference data which the detection part of the information processing apparatus in 2nd Embodiment uses by a detection process. It is a figure explaining the detection process of a detection part. It is a figure explaining the imaging
  • FIG. 19 is a diagram illustrating an example of other reference data used by the detection unit in the detection process, following FIG. 18. It is a figure showing an example of another reference data which a detection part utilizes by a detection process.
  • FIG. 21 is a diagram illustrating an example of still another reference data used in the detection process by the detection unit, following FIG. 20.
  • FIG. 1 is a block diagram showing a simplified configuration of the counting system according to the first embodiment of the present invention.
  • the counting system 1 according to the first embodiment includes a plurality of photographing devices 2 and 3 and an information processing device 4.
  • the plurality of photographing devices 2 and 3 are arranged at intervals in the height direction within a predetermined photographing space.
  • the information processing device 4 has a function of measuring the number of objects to be measured in the shooting space based on the images taken by the shooting devices 2 and 3.
  • the two photographing devices 2 and 3 are illustrated, but the number of photographing devices is not limited as long as it is plural, and may be set as appropriate.
  • a plurality of photographing devices 2 and 3 are arranged at intervals in the height direction in the photographing space. For this reason, the following effects can be acquired. For example, it is assumed that there is an object that is unclear in a photographed image by the photographing device 3 because it is away from the photographing device 3. In this case, when the object is photographed by the photographing device 2 at a position closer to the photographing device 3, the image of the object is clarified in the photographed image by the photographing device 2 than in the photographed image by the photographing device 3. Can be planned. Since the image on the object to be measured can be clarified in this way, the information processing apparatus 4 can increase the measurement accuracy of the object to be measured by the counting function using the captured image.
  • FIG. 2 is a model diagram showing the configuration of the counting system according to the second embodiment of the present invention.
  • the counting system 10 of the second embodiment is a system that measures the number of fish in a ginger that is an object to be measured.
  • the counting system 10 includes cameras 12 and 13 that are a plurality of (two in the example of FIG. 2) imaging devices, and an information processing device 15.
  • the cameras 12 and 13 have a waterproof function, and as shown in FIG. 3, the cameras 12 and 13 are arranged in the depth direction (height direction) with a gap in the ginger 25 where the fish 26 is cultured.
  • the camera 12 is disposed at a position close to the water bottom, and the camera 13 is disposed at a substantially intermediate portion between the water bottom and the water surface.
  • the positions of the cameras 12 and 13 in the cross section parallel to the water surface of the ginger 25 are substantially in the center.
  • the direction of the lenses of the cameras 12 and 13 arranged at such positions is the direction facing the water surface (upward).
  • the shooting range (field of view) of the cameras 12 and 13 is a range in which the side of the ginger 25 can be shot in consideration of the size of the ginger 25.
  • the method of arranging the cameras 12 and 13 in water is not particularly limited, but an example thereof will be described below.
  • the cameras 12 and 13 each have a metal plate 20 as a support member as shown in FIG. 2 so that the direction of the lens is upward (the direction toward the upper side of the substrate surface of the metal plate 20). Supported and fixed.
  • the metal plates 20 on which the cameras 12 and 13 are supported and fixed are arranged in parallel so that the substrate surfaces are parallel to each other with a space therebetween, and are linear members in order to stabilize the juxtaposed state. It is connected by a plurality (four) of ropes 21.
  • One side of each rope 21 is connected to a buoy 22 that is a floating body.
  • the other side of each rope 21 is connected to the weight 23.
  • the buoy 22 When the arrangement structure of the cameras 12 and 13 having such a configuration is thrown into the water (ginger 25), the buoy 22 floats on the water surface, and the weight 23 sinks to the bottom of the water. The rope 21 is suspended in water. Further, the weight 23 prevents the arrangement position of the metal plate 20 (in other words, the cameras 12 and 13) from changing greatly.
  • the method of disposing the cameras 12 and 13 in the water by the metal plate 20, the rope 21, the buoy 22 and the weight 23 has a simple structure, and can be easily reduced in size and weight. From this, it becomes easy to move the cameras 12 and 13 to another ginger 25.
  • the cameras 12 and 13 arranged in the water in this way take a picture of the fish 26 in the ginger 25 from the ventral side.
  • the fish 26 in the images taken by the cameras 12 and 13 becomes an image as shown in the image diagram of FIG.
  • the cameras 12 and 13 are photographing devices having a function of photographing a moving image.
  • the camera 12 is a photographing device that does not have a moving image photographing function and photographs a still image intermittently at set time intervals, for example. , 13 may be adopted.
  • the cameras 12 and 13 are calibrated by an appropriate calibration method in consideration of the environment of the ginger 25, the type of fish to be measured, and the like. Here, the description of the calibration method is omitted.
  • a method for starting the shooting with the cameras 12 and 13 and a method for stopping the shooting an appropriate method considering the performance of the cameras 12 and 13 and the environment of the ginger 25 is adopted.
  • the fish observer manually starts shooting before the cameras 12 and 13 enter the ginger 25, and manually stops shooting after the cameras 12 and 13 have left the ginger 25.
  • the cameras 12 and 13 have a wireless communication function or a wired communication function
  • the cameras 12 and 13 are connected to an operation device that can transmit information for controlling the start and stop of shooting. Then, the start and stop of shooting of the underwater cameras 12 and 13 may be controlled by the operation of the operating device by the observer.
  • the information processing apparatus 15 uses the photographed image of the camera 12 and the photographed image of the camera 13 taken at the same time.
  • a change to be a marker used for time adjustment (synchronization) is also taken during the photographing.
  • 13 is preferably taken in common.
  • a mark used for synchronization light that emits light for a short time may be used by automatic control or manually by an observer, and the cameras 12 and 13 may capture the light. Or you may make it the cameras 12 and 13 capture the sound as a mark used for a synchronization with an image.
  • the time of the clocks built in the cameras 12 and 13 may be adjusted, and the cameras 12 and 13 may associate the time information of the built-in clocks with the captured images.
  • the information used for synchronization is included in or associated with the captured images of the cameras 12 and 13, so that the captured images of the cameras 12 and 13 can be easily synchronized.
  • the captured images captured by the cameras 12 and 13 as described above may be taken into the information processing apparatus 15 by wired communication or wireless communication, or information is stored in the portable storage medium and then stored in the portable storage medium. It may be taken into the processing device 15.
  • the information processing device 15 generally includes a control device 32 and a storage device 33.
  • the information processing device 15 is connected to an input device (for example, a keyboard or a mouse) 35 for inputting information to the information processing device 15 by an operation of an observer (measurer) and a display device 36 for displaying information. Yes. Further, the information processing device 15 may be connected to an external storage device 34 that is separate from the information processing device 15.
  • the storage device 33 has a function of storing various data and computer programs (hereinafter also referred to as programs), and is realized by a storage medium such as a hard disk device or a semiconductor memory, for example.
  • the storage device 33 provided in the information processing device 15 is not limited to one, and a plurality of types of storage devices may be provided in the information processing device 15. In this case, the plurality of storage devices are collectively referred to. This will be referred to as storage device 33.
  • the storage device 34 has a function of storing various data and computer programs, and is realized by a storage medium such as a hard disk device or a semiconductor memory.
  • the information processing apparatus 15 When the information processing device 15 is connected to the storage device 34, appropriate information is stored in the storage device 34. In this case, the information processing apparatus 15 appropriately executes a process of writing information to and a process of reading information from the storage device 34, but the description regarding the storage device 34 is omitted in the following description.
  • the images captured by the cameras 12 and 13 are stored in the storage device 33 in a state in which the images are associated with information related to the shooting status, such as information indicating the cameras that have been shot and shooting time information.
  • the control device 32 is configured by, for example, a CPU (Central Processing Unit).
  • the control device 32 can have the following functions when the CPU executes a computer program stored in the storage device 33, for example. That is, the control device 32 includes a detection unit 40, a counting unit 41, a correction unit 42, and a display control unit 43 as functional units.
  • the display control unit 43 has a function of controlling the display operation of the display device 36. For example, when the display control unit 43 receives a request to reproduce the captured images of the cameras 12 and 13 from the input device 35, the display control unit 43 reads the captured images of the cameras 12 and 13 according to the request from the storage device 33. Is displayed on the display device 36. Note that the display control unit 43 may control the display device 36 so that a photographed image of one of the cameras 12 and 13 requested is displayed, or both the cameras 12 and 13 may be requested. The display device 36 may be controlled so that the captured image is displayed on two screens.
  • the detection unit 40 when the detection unit 40 detects that a request for measuring the number of fishes is input by operating the input device 35 of the observer during reproduction of the captured images of the cameras 12 and 13, the detection unit 40 performs the following processing. It has a function to do. In other words, the detection unit 40 has a function of detecting a characteristic part having a predetermined characteristic in a fish that is an object to be measured in images taken by the cameras 12 and 13. In the second embodiment, the head of the fish is set as the characteristic part. There are various methods for detecting the head of a fish, which is a characteristic part, from the images taken by the cameras 12 and 13, and here, an appropriate method that takes into account the processing capability of the information processing device 15 is employed. For example, there are the following methods.
  • reference data for the type of fish head to be measured, a plurality of reference data (reference part images) having different fish orientations, distances from the cameras 12 and 13 and the like as shown in FIGS.
  • the reference data in FIGS. 6 and 7 are images of the fish head viewed from the stomach side of the fish. These reference data are obtained by extracting, as teacher data (teacher image), an image of a region in which a characteristic part of the head is photographed from a large number of photographed images in which the type of fish to be measured is photographed. Created by machine learning.
  • the detecting unit 40 uses the reference data of the characteristic part (fish head) read from the storage device 33 to detect the characteristic part in the captured image as follows. For example, the detection unit 40 moves the survey image range having a predetermined shape and size from the upper left end of the photographed image 46 as shown in FIG. 8 toward the upper right end at every set interval. The image of the portion where the survey image range is located is compared with the reference data. Then, the detection unit 40 determines the degree of matching (similarity) between the image within the survey image range and the reference data by, for example, a method used in the template matching method. The detection unit 40 detects that the image represents a characteristic part when the degree of match is greater than or equal to a threshold value (for example, 90%).
  • a threshold value for example, 90%
  • the degree of match is set at each set interval in the same manner as described above while moving the survey image range to the right from a position lower than the upper left end in the captured image 46. Will be judged.
  • the detection unit 40 determines the degree of matching between the reference data and the image in the survey image range while scanning the scan image range in the captured image, thereby measuring the measurement target in the captured images by the cameras 12 and 13.
  • the characteristic part (head) of the object (fish) is detected.
  • the characteristic part detected in the captured image 46 is represented by a frame 48.
  • such a detection result by the detection unit 40 is displayed on the display device 36 by the display control unit 43.
  • the counting unit 41 has a function of measuring the number of feature parts detected by the detection unit 40 in the images taken by the cameras 12 and 13 as the number of objects (fishes) to be measured.
  • the counting unit 41 includes information on the number of objects to be measured counted from the images taken by the cameras 12 and 13 and information on the total number of objects to be counted (information such as identification information).
  • a function of storing in the storage device 33 in a state associated with the storage device 33 is provided. When the counting unit 41 adds up the number of objects to be measured counted from the images captured by the cameras 12 and 13, the counting unit 41 counts values based on the synchronized captured images of the cameras 12 and 13. To sum.
  • the cameras 12 and 13 are arrange
  • the shooting range of the camera 12 includes an area that overlaps the shooting range of the camera 13, such as the hatched area W in FIG. 9. Therefore, the number of measurement target objects (fish) counted by the counting unit 41 from the image captured by the camera 12 includes the number of measurement target objects (fish) counted by the counting unit 41 in the captured image captured by the camera 13. It is assumed that Considering this, in the second embodiment, a function of correcting the number of objects to be measured counted by the counting unit 41 is provided.
  • the correction unit 42 counts by the counting unit 41 based on the number of objects to be measured that are assumed to be counted repeatedly by the counting unit 41 in the overlapping shooting range regions of the cameras 12 and 13. A function of correcting the number of objects to be measured is provided.
  • the obtained ratio of data is stored in the storage device 33 as a thinning rate (for example, 0.5 (50%)).
  • a thinning rate for example, 0.5 (50%)
  • the observer determines the thinning rate based on the experience of the observer based on the experiment.
  • the thinning rate may be calculated based on a sample image (for example, a moving image of fish movement) obtained by machine learning using pre-captured images taken by the cameras 12 and 13 as teacher data.
  • the thinning rate according to the shooting environment may be calculated (in this case, the thinning rate according to the shooting environment is used for correcting the number of objects to be measured).
  • the thinning rate according to the shooting environment is used for correcting the number of objects to be measured.
  • the counting unit 41 may have a function of correcting the counted value as follows after counting the number of characteristic parts. For example, it is assumed that there is a fish that is not counted by the counting unit 41 due to reasons such as being hidden in the shadow of another fish and not appearing in the captured image. The relationship between the number of fish not counted and the number of fish counted by the counting unit 41 is obtained by, for example, observation or simulation, and the relationship data is stored in the storage device 33 as correction data. The counting unit 41 may correct the count value with the correction data after counting the number of feature parts.
  • the correction unit 42 calculates the correction number by multiplying the number of objects to be measured counted by the counting unit 41 in the photographed image by the camera 13 by the thinning rate stored in the storage device 33. Then, the correction unit 42 corrects the number of objects to be measured counted by the counting unit 41 by subtracting the calculated correction number from the number counted as the number of objects to be measured by the counting unit 41.
  • the correction unit 42 has a function of storing in the storage device 33 information on the number of objects to be measured after correction, which has been corrected as described above.
  • the correction unit 42 further has a function of causing the display control unit 43 to display the corrected number of objects to be measured on the display device 36.
  • the counting system 10 of the second embodiment is configured as described above. Next, an example of the counting process of the information processing apparatus 15 in the second embodiment will be described based on the flowchart of FIG.
  • the detection unit 40 of the information processing device 15 detects that a request for counting objects to be measured is input by an operation of the input device 35 by the observer (step S101)
  • the captured images by the cameras 12 and 13 are captured. Is obtained from the storage device 33.
  • the detection part 40 detects the characteristic site
  • the counting unit 41 counts the number of characteristic parts in the captured image detected by the detection unit 40 (step S103).
  • the control device 32 determines whether there is an unprocessed captured image that has not been processed by the detection unit 40 and the counting unit 41 (step S104).
  • the detection process by the detection unit 40 (step S102) and the counting process by the counting unit 41 (step S103) are performed on the unprocessed captured image.
  • the counting unit 41 adds up the measured number of objects calculated for each captured image, and calculates the total value as the number of objects to be measured.
  • the correction unit 42 corrects the number of objects to be measured by the counting unit 41.
  • the corrected value is determined as the number of objects to be measured, and is displayed on the display device 36 as the number of objects to be measured by the display control unit 43, for example.
  • the information processing apparatus 15 can measure and output the number of objects to be measured from the captured image by such processing.
  • the information processing apparatus 15 in the counting system 10 can accurately measure the number of objects to be measured by the counting function using the captured image.
  • the information processing apparatus 15 can prevent the occurrence of problems caused by using the captured images of the plurality of cameras 12 and 13.
  • the counting system 10 according to the third embodiment is different from the second embodiment in the arrangement of a camera that is a photographing apparatus, and has the same configuration as that of the counting system 10 according to the second embodiment except for that.
  • FIG. 11 is a perspective view schematically showing an arrangement form of the camera 50 in the third embodiment.
  • FIG. 12 is a model diagram showing the arrangement of the camera 50 as viewed from above in FIG.
  • the position where the camera 50 is disposed in the water (ginger 25) is a depth position Dt close to the bottom of the water, a position Db close to the water surface, and an interval between the positions Db and Dt is substantially equal.
  • four cameras 50 are disposed at each depth position (height position) where the camera 50 is disposed.
  • the four cameras 50 for each depth position are arranged in four different directions along a surface along the water surface.
  • a plurality of cameras 50 as shown in FIG. 11 are arranged at the center of the ginger 25 as in the second embodiment.
  • the detection unit 40 detects the characteristic part (head) of the measurement target object (fish) in the captured image of each camera 50.
  • the reference data that the detection unit 40 uses in the feature part detection process is shown in FIGS. 13 and 14, for example. It is the sample image of the head of the fish seen from the side as it is.
  • the counting unit 41 counts the number of characteristic parts detected in the captured image of each camera 50, adds up the measured number in each captured image, and calculates the total value as the number of objects to be measured.
  • an overlapping shooting range in the cameras 50 adjacent in the horizontal direction is, for example, a region W in FIG.
  • the correction unit 42 corrects the number of objects to be measured calculated by the counting unit 41 in consideration of the number of objects to be measured that are redundantly measured in such overlapping imaging range regions.
  • the counting system 10 of the third embodiment can increase the counting accuracy of an object to be measured by increasing the number of cameras 50 arranged.
  • a plurality of cameras 50 are arranged at the center of the ginger 25.
  • the plurality of cameras 50 may be arranged at the peripheral portion (corner portion in the example of FIG. 16) of the ginger 25.
  • one camera 50 is disposed at each different depth position.
  • FIG. 17 is a model view of the relationship between the camera 50 and the ginger 25 in FIG. 16 viewed from the water surface side. As shown in FIG.
  • the direction of the lens of the camera 50 at each depth position is the same in the horizontal direction toward the center of the ginger 25.
  • a plurality of cameras 50 may be arranged at each depth position depending on the field of view of the camera 50.
  • the cameras 12 and 13 are arranged in two stages as shown in FIG. 2, and in the third embodiment, the camera 50 is arranged in four stages as shown in FIG. It is installed.
  • the number of stages in which the camera is arranged may be three or five or more.
  • image processing for correcting the distortion of the fish body due to the fluctuation of water may be performed.
  • image processing may be performed in which a captured image is corrected in consideration of imaging conditions such as the water depth and brightness of the object.
  • the information processing device 15 performs image processing (image correction) on the captured image in consideration of the imaging environment, so that the counting accuracy of the object to be measured can be further increased.
  • the information processing apparatus 15 can obtain an effect that the number of reference data can be reduced by using the captured image that has been subjected to such image correction.
  • the detection unit 40 in the information processing apparatus 15 detects the head of a fish as a characteristic part of the object to be measured.
  • the detection unit 40 may detect a fish tail.
  • the reference data used by the detection unit 40 in the detection process is, for example, a fish tail sample image as shown in FIGS. 18 and 19.
  • the detection unit 40 of the information processing device 15 detects a part of the object to be measured.
  • the detection unit 40 may detect the entire object (fish body) to be measured.
  • the reference data used by the detection unit 40 in the detection process is, for example, a fish sample image as shown in FIGS.
  • the counting system 10 having the configuration described in the second and third embodiments is not limited to other objects. It is also applicable to the counting.
  • a counting system comprising: an information processing device that measures the number of objects to be measured in the photographing space based on images taken by the plurality of photographing devices.
  • the photographing device is fixed to a support member according to a height position where the photographing device is disposed,
  • the counting system according to any one of supplementary notes 1 to 4, wherein the plurality of support members are connected by the linear member and are arranged in parallel in the height direction in a form of being suspended by the linear member.
  • Each of the plurality of photographing devices is disposed so that a photographing range overlaps a photographing range of another photographing device,
  • the information processing apparatus according to any one of supplementary notes 1 to 7, wherein the information processing apparatus corrects the number of objects to be measured counted from a photographed image of the photographing apparatus based on the overlapping photographing range regions. Counting system.
  • the information processing apparatus detects a feature part having a predetermined feature in the object to be measured from the photographed image, and measures the number of detected feature parts in the photographed image as the number of objects to be measured.
  • the counting system according to any one of supplementary notes 1 to 8.
  • Appendix 10 The counting system according to appendix 9, wherein the information processing apparatus detects the characteristic part from the captured image using an image of the characteristic part in the measurement target object.
  • the object to be measured is a fish
  • the characteristic part is a fish head
  • the information processing apparatus detects the fish head from the photographed image using an image of the fish head. Counting system.
  • a plurality of photographing devices are arranged at intervals in the height direction within a predetermined photographing space, A counting method for measuring the number of objects to be measured in the photographing space based on images taken by the plurality of photographing devices.

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Zoology (AREA)
  • Environmental Sciences (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Marine Sciences & Fisheries (AREA)
  • Animal Husbandry (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Farming Of Fish And Shellfish (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

撮影装置による撮影画像を利用して物体の数を計測する場合に、物体の計数の精度を高める技術を提供するために、計数システム１は、複数の撮影装置２，３と、情報処理装置４とを備える。複数の撮影装置２，３は、予め定められた撮影空間内における高さ方向に互いに間隔を介して配設される。情報処理装置４は、撮影装置２，３による撮影画像に基づいて、撮影空間内における計測対象の物体の数を計測する。

Description

計数システムおよび計数方法
　本発明は、撮影装置を利用して物体の数を計測する技術に関する。
　魚の養殖技術の向上のために、養殖している魚の成長を観測することが行われている。特許文献１には魚の数を計測する構成が開示されている。すなわち、特許文献１における構成では、生簀の側面側からカメラが生簀内の魚を撮影し、情報処理装置が、その撮影された撮影画像を解析することにより魚を追尾し、当該追尾の結果を利用して生簀内の魚を計数する。
　また、特許文献２には、魚を収容する部屋の上方側からカメラが部屋内の魚を撮影し、コンピュータが、その撮影された撮影画像から魚影を検知し、撮影画像において魚影として検知された領域の面積に基づいて魚影の有無および数を判定する構成が示されている。
特開２０１６－１１０３８１号公報 特開２００８－１７１１９６号公報
　ところで、特許文献１では、カメラは生簀の側面側から魚を撮影し、特許文献２では、カメラは部屋の上方側から魚を撮影している。このため、カメラによる撮影画像において、カメラから離れている例えば生簀の反対側の側面底側や部屋の底側にいる魚の映像は、小さかったり、ぼやけているために、情報処理装置（コンピュータ）が処理する映像としては不適切となる場合がある。このような場合には、撮影画像から魚の数を精度良く計測できないという問題が生じる虞がある。
　本発明は上記課題を解決するために考え出された。すなわち、本発明の主な目的は、撮影装置による撮影画像を利用して物体の数を計測する場合に、物体の計数の精度を高めることができる技術を提供することにある。
　上記目的を達成するために、本発明の計数システムは、
　予め定められた撮影空間内における高さ方向に互いに間隔を介して配設される複数の撮影装置と、
　前記複数の撮影装置による撮影画像に基づいて、前記撮影空間内における計測対象の物体の数を計測する情報処理装置と
を備える。
　本発明の計数方法は、
　予め定められた撮影空間内における高さ方向に互いに間隔を介して複数の撮影装置を配設し、
　前記複数の撮影装置による撮影画像に基づいて、前記撮影空間内における計測対象の物体の数を計測する。
　本発明によれば、撮影装置による撮影画像を利用して物体の数を計測する場合に、物体の計数の精度を高めることができる。
本発明に係る第１実施形態の計数システムの構成を簡略化して表すブロック図である。 本発明に係る第２実施形態の計数システムの構成を簡略化して表す図である。 第２実施形態におけるカメラの配設形態を説明する図である。 第２実施形態におけるカメラによる撮影画像の一例である。 第２実施形態における情報処理装置の制御構成を表すブロック図である。 第２実施形態における情報処理装置の検知部が検知処理で利用する参考データの一例を表す図である。 さらに、第２実施形態における情報処理装置の検知部が検知処理で利用する参考データの一例を表す図である。 検知部の検知処理を説明する図である。 第２実施形態におけるカメラの撮影範囲を説明する図である。 第２実施形態における情報処理装置の計測処理の動作例を表すフローチャートである。 本発明に係る第３実施形態の計数システムにおけるカメラの配設形態を表す図である。 第３実施形態におけるカメラの撮影範囲を説明する図である。 第３実施形態における情報処理装置の検知部が検知処理で利用する参考データの一例を表す図である。 さらに、第３実施形態における情報処理装置の検知部が検知処理で利用する参考データの一例を表す図である。 カメラの配設形態のその他の例を表す図である。 生簀におけるカメラのその他の配設位置を表す図である。 図１６におけるカメラの撮影範囲を説明する図である。 検知部が検知処理で利用するその他の参考データの一例を表す図である。 図１８に続いて、検知部が検知処理で利用するその他の参考データの一例を表す図である。 検知部が検知処理で利用するさらに別の参考データの一例を表す図である。 図２０に続いて、検知部が検知処理で利用するさらに別の参考データの一例を表す図である。
　以下に、本発明に係る実施形態を図面を参照しながら説明する。
　＜第１実施形態＞
　図１は、本発明に係る第１実施形態の計数システムの構成を簡略化して表すブロック図である。第１実施形態の計数システム１は、複数の撮影装置２，３と、情報処理装置４とを備えている。複数の撮影装置２，３は、予め定められた撮影空間内における高さ方向に互いに間隔を介して配設されている。情報処理装置４は、撮影装置２，３による撮影画像に基づいて、撮影空間内における計測対象の物体の数を計測する機能を備えている。
　なお、図１の例では、２台の撮影装置２，３が図示されているが、撮影装置は、複数であれば、数が限定されるものではなく、適宜設定され得る。
　第１実施形態の計数システム１では、撮影空間内における高さ方向に互いに間隔を介して複数の撮影装置２，３が配設されている。このため、次のような効果を得ることができる。例えば、撮影装置３から離れているために、撮影装置３による撮影画像においては不明瞭である物体があるとする。この場合に、その物体が撮影装置３よりも近い位置の撮影装置２により撮影されることによって、撮影装置２による撮影画像では、撮影装置３による撮影画像よりも、その物体の画像の明瞭化を図ることができる。このように計測対象の物体における画像の明瞭化を図ることができることにより、情報処理装置４は、撮影画像を利用する計数の機能によって計測対象の物体の計測精度を高めることができる。
　＜第２実施形態＞
　以下に、本発明に係る実施形態を説明する。
　図２は、本発明に係る第２実施形態の計数システムの構成を表すモデル図である。第２実施形態の計数システム１０は、計測対象の物体である生簀内の魚の数を計測するシステムである。この計数システム１０は、複数（図２の例では２台）の撮影装置であるカメラ１２，１３と、情報処理装置１５とを備えている。
　カメラ１２，１３は、防水機能を持ち、図３に表されるように、魚２６が養殖されている生簀２５内に、深さ方向（高さ方向）に間隔を介して配設される。第２実施形態では、カメラ１２，１３の深さ方向の位置については、カメラ１２は、水底に近い位置に配設され、カメラ１３は、水底と水面とのほぼ中間部に配設されている。また、生簀２５の水面に平行な断面におけるカメラ１２，１３の位置については、ほぼ中央となっている。このような位置に配置されるカメラ１２，１３のレンズの向きは、水面を向く向き（上向き）となっている。また、カメラ１２，１３の撮影範囲（視野）は生簀２５の大きさを考慮し、生簀２５の側面側も撮影できる範囲となっている。
　カメラ１２，１３を水中に配設する手法は特に限定されないが、その一例を次に述べる。すなわち、カメラ１２，１３は、それぞれ、図２に表されるような支持部材である金属板２０に、レンズの向きが上向き（金属板２０の基板面の上方側を向く向き）となるように支持固定される。カメラ１２，１３が支持固定される金属板２０は、間隔を介して基板面が互いに平行となるように並設され、かつ、その並設状態の安定化を図るために、線条材である複数（４本）のロープ２１により連結されている。各ロープ２１の一方側は浮体であるブイ２２に接続されている。また、各ロープ２１の他方側は錘２３に接続されている。
　このような構成を持つカメラ１２，１３の配設構造体が水中（生簀２５）に投入されることにより、ブイ２２は水面に浮き、錘２３は水底側に沈み、これにより、金属板２０は、ロープ２１によって水中に吊下げられている形態となる。また、錘２３が金属板２０（換言すればカメラ１２，１３）の配設位置が大きく変動してしまうことを防止する。このように、金属板２０とロープ２１とブイ２２と錘２３によってカメラ１２，１３を水中に配設する手法は、構造が簡易であり、また、コンパクト化および軽量化が容易である。このことから、カメラ１２，１３を別の生簀２５に移動させることが容易となる。
　このように水中に配設されるカメラ１２，１３は、生簀２５内の魚２６を腹側から撮影することになる。例えば、カメラ１２，１３による撮影画像中の魚２６は、図４のイメージ図に表されるような像となる。
　なお、カメラ１２，１３は、動画を撮影する機能を備えている撮影装置であるが、動画撮影機能を持たずに例えば静止画を設定の時間間隔毎に断続的に撮影する撮影装置をカメラ１２，１３として採用してもよい。また、カメラ１２，１３のキャリブレーションは、生簀２５の環境や計測対象の魚の種類等を考慮した適宜なキャリブレーション手法によって行われる。ここでは、そのキャリブレーション手法の説明は省略する。
　さらに、カメラ１２，１３による撮影を開始する手法および撮影を停止する手法は、カメラ１２，１３の性能や生簀２５の環境などを考慮した適宜な手法が採用される。例えば、魚の観測者が、カメラ１２，１３を生簀２５に進入させる前に手動により撮影を開始させ、また、カメラ１２，１３を生簀２５から退出させた後に手動により撮影を停止させる。また、カメラ１２，１３が無線通信あるいは有線通信の機能を備えている場合には、撮影開始と撮影停止を制御する情報を送信できる操作装置と、カメラ１２，１３とを接続する。そして、観測者による操作装置の操作により、水中のカメラ１２，１３の撮影開始と撮影停止が制御されてもよい。
　ところで、情報処理装置１５は、同時刻に撮影されたカメラ１２の撮影画像とカメラ１３の撮影画像とを用いる。このことを考慮し、同時刻に撮影されたカメラ１２による撮影画像とカメラ１３による撮影画像とを得やすくするために、撮影中に、時間合わせ（同期）に用いる目印となる変化をもカメラ１２，１３に共通に撮影させることが好ましい。例えば、同期に用いる目印として、自動制御あるいは観測者の手動によって短時間発光する光を利用することとし、カメラ１２，１３がその光を撮影するようにしてもよい。あるいは、同期に用いる目印としての音を画像と共にカメラ１２，１３が取り込むようにしてもよい。あるいは、カメラ１２，１３が内蔵している時計の時間合わせをしておき、カメラ１２，１３は内蔵の時計の時刻情報を撮影画像に関連付けてもよい。このように、カメラ１２，１３の撮影画像に同期に用いる情報が含まれる、あるいは、関連付けられることにより、カメラ１２，１３の撮影画像の同期を行うことが容易となる。
　上述したようなカメラ１２，１３により撮影された撮影画像は、有線通信あるいは無線通信によって情報処理装置１５に取り込まれてもよいし、可搬型記憶媒体に格納された後に当該可搬型記憶媒体から情報処理装置１５に取り込まれてもよい。
　情報処理装置１５は、図５に表されるように、概略すると、制御装置３２と、記憶装置３３とを備えている。また、情報処理装置１５は、例えば観測者（計測者）の操作により情報を情報処理装置１５に入力する入力装置（例えば、キーボードやマウス）３５と、情報を表示する表示装置３６に接続されている。さらに、情報処理装置１５は、当該情報処理装置１５とは別体の外付けの記憶装置３４に接続されていてもよい。
　記憶装置３３は、各種データやコンピュータプログラム（以下、プログラムとも記す）を記憶する機能を有し、例えば、ハードディスク装置や半導体メモリ等の記憶媒体により実現される。情報処理装置１５に備えられる記憶装置３３は一つには限定されず、複数種の記憶装置が情報処理装置１５に備えられていてもよく、この場合には、複数の記憶装置を総称して記憶装置３３と記す。また、記憶装置３４も、記憶装置３３と同様に、各種データやコンピュータプログラムを記憶する機能を有し、例えば、ハードディスク装置や半導体メモリ等の記憶媒体により実現される。なお、情報処理装置１５が記憶装置３４に接続されている場合には、記憶装置３４には適宜な情報が格納される。また、この場合には、情報処理装置１５は、適宜、記憶装置３４に情報を書き込む処理および読み出す処理を実行するが、以下の説明では、記憶装置３４に関する説明を省略する。
　第２実施形態では、記憶装置３３には、カメラ１２，１３による撮影画像が、撮影したカメラを表す情報や、撮影時間の情報などの撮影状況に関わる情報と関連付けられた状態で格納される。
　制御装置３２は、例えば、ＣＰＵ（Central Processing Unit）により構成される。制御装置３２は、例えばＣＰＵが記憶装置３３に格納されているコンピュータプログラムを実行することにより、次のような機能を有することができる。すなわち、制御装置３２は、機能部として、検知部４０と、計数部４１と、補正部４２と、表示制御部４３とを備えている。
　表示制御部４３は、表示装置３６の表示動作を制御する機能を備えている。例えば、表示制御部４３は、入力装置３５から、カメラ１２，１３の撮影画像を再生する要求を受け取った場合に、記憶装置３３から要求に応じたカメラ１２，１３の撮影画像を読み出し当該撮影画像を表示装置３６に表示する。なお、表示制御部４３は、カメラ１２，１３のうちの要求された一方側の撮影画像が表示されるように表示装置３６を制御してもよいし、要求に応じてカメラ１２，１３の両方の撮影画像が二画面表示されるように表示装置３６を制御してもよい。
　検知部４０は、例えば、カメラ１２，１３の撮影画像の再生中に、観測者の入力装置３５の操作によって魚の数を計測する要求が入力されたことを検知すると、次のような処理を実行する機能を備えている。すなわち、検知部４０は、カメラ１２，１３による撮影画像において、計測対象の物体である魚における予め定められた特徴を持つ特徴部位を検知する機能を備えている。第２実施形態では、魚の頭が特徴部位として設定されている。カメラ１２，１３の撮影画像から特徴部位である魚の頭を検知する手法には様々な手法があり、ここでは、情報処理装置１５の処理能力等を考慮した適宜な手法が採用されるが、その一例を挙げると、次のような手法がある。
　例えば、計測対象となる種類の魚の頭について、図６および図７に表されるような、魚の向きやカメラ１２，１３からの距離等が異なる複数の参考データ（参考部位画像）が記憶装置３３に格納されている。なお、図６および図７における参考データは、魚の腹側から見た魚の頭の画像である。これら参考データは、計測対象となる種類の魚が撮影されている多数の撮影画像から、頭の特徴部位が撮影されている領域の画像が教師データ（教師画像）として抽出され、当該教師データを利用した機械学習により作成される。
　検知部４０は、記憶装置３３から読み出した特徴部位（魚の頭）の参考データを利用して、次のように、撮影画像における特徴部位を検知する。例えば、検知部４０は、図８に表されるような撮影画像４６の左上端から予め定められた形状および大きさを持つ調査画像範囲を右上端に向けて移動させながら、設定の間隔毎に調査画像範囲が位置している部分の画像と、参考データとを比較する。そして、検知部４０は、調査画像範囲内の画像と参考データとのマッチ度（類似度）を例えばテンプレートマッチング手法で利用される手法により判定する。検知部４０は、マッチ度が閾値（例えば９０％）以上である場合に、その画像は特徴部位を表していると検知する。
　検知部４０は、調査画像範囲を右上端まで移動させると、撮影画像４６における左上端よりも設定間隔下げた位置から調査画像範囲を右側に移動させながら、上記同様に、設定間隔毎にマッチ度を判定していく。
　検知部４０は、このように撮影画像において調査画像範囲をスキャン（走査）しながら参考データと調査画像範囲内の画像とのマッチ度を判定することにより、カメラ１２，１３による撮影画像において計測対象の物体（魚）の特徴部位（頭）を検知する。図８の例では、撮影画像４６において検知された特徴部位が枠４８により表されている。例えば、このような検知部４０による検知結果は、表示制御部４３によって表示装置３６に表示される。
　計数部４１は、カメラ１２，１３による撮影画像において検知部４０により検知された特徴部位の数を計測対象の物体（魚）の数として計測する機能を備えている。また、計数部４１は、カメラ１２，１３による撮影画像からそれぞれ計数した計測対象の物体の数や、それら計数した計測対象の物体の合計数の情報を、計測した画像の情報（例えば識別情報）に関連付けた状態で記憶装置３３に格納する機能を備えている。なお、カメラ１２，１３による撮影画像から計数した計測対象の物体の数を計数部４１が合計する際には、計数部４１は、カメラ１２，１３における同期している撮影画像に基づいた計数値を合計する。
　ところで、第２実施形態では、カメラ１２，１３は、深さ方向に間隔を介して配置され、かつ、それらレンズの向きは同じ方向を向いている（上向きである）。このため、カメラ１２の撮影範囲は、図９における斜線領域Ｗのような、カメラ１３の撮影範囲とオーバーラップする領域がある。このため、カメラ１２による撮影画像から計数部４１が計数する計測対象の物体（魚）の数には、カメラ１３による撮影画像において計数部４１が計数する計測対象の物体（魚）の数が含まれてしまうことが想定される。このことを考慮し、第２実施形態では、計数部４１により計数された計測対象の物体の数を補正する機能が備えられている。すなわち、補正部４２は、カメラ１２，１３におけるオーバーラップしている撮影範囲領域において計数部４１により重複して計数されると想定される計測対象の物体の数に基づいて、計数部４１により計数された計測対象の物体の数を補正する機能を備えている。
　例えば、カメラ１２による撮影画像から計数部４１が計数する計測対象の物体の数のうち、カメラ１３による撮影画像においても計数部４１が計数すると考えられる計測対象の物体の数の割合がどの程度になるかを観測者等が予め求める。その求められた割合のデータが間引き率（例えば、０．５（５０％））として記憶装置３３に格納される。なお、間引き率を求める手法には様々な手法が考えられる。例えば、実験に基づいた観測者の経験に基づいて観測者が間引き率を定める。あるいは、予め撮影されたカメラ１２，１３による撮影画像を教師データとして利用した機械学習によって得られたサンプル画像（例えば魚の動きの動画）に基づいて、間引き率が算出されてもよい。あるいは、撮影環境に応じた前記間引き率が算出されてもよい（この場合には、撮影環境に応じた間引き率が計測対象の物体の数の補正に使用される）。このように、間引き率を求める手法には様々な手法があり、適宜な手法により間引き率が求められる。
　さらに、計数部４１は、特徴部位の数を計数した後に、その計数値を次のように補正する機能を備えていてもよい。例えば、別の魚の陰に隠れたために撮影画像に映らなかった等の原因により計数部４１により計数されない魚が有ると想定される。このような計数されない魚の数と、計数部４１により計数される魚の数との関係が例えば観測やシミュレーションにより求められ、当該関係データが補正用データとして記憶装置３３に格納される。計数部４１は、特徴部位の数を計数した後に、当該計数値を、その補正用データにより補正してもよい。
　補正部４２は、カメラ１３による撮影画像において計数部４１により計数された計測対象の物体の数に、記憶装置３３に格納されている間引き率を乗算することにより、補正数を算出する。そして、補正部４２は、計数部４１により計測対象の物体の数として計数された数から、算出した補正数を差し引くことにより、計数部４１により計数された計測対象の物体の数を補正する。補正部４２は、そのように補正した補正後の計測対象の物体の数の情報を記憶装置３３に格納する機能を備えている。また、補正部４２は、補正後の計測対象の物体の数を表示制御部４３によって表示装置３６に表示させる機能をさらに備えている。
　第２実施形態の計数システム１０は上記のように構成されている。次に、第２実施形態における情報処理装置１５の計数処理の一例を図１０のフローチャートに基づいて説明する。
　例えば、情報処理装置１５の検知部４０は、観測者による入力装置３５の操作により、計測対象の物体を計数する要求が入力されたことを検知すると（ステップＳ１０１）、カメラ１２，１３による撮影画像を記憶装置３３から取得する。そして、検知部４０は、取得したカメラ１２，１３による撮影画像のうちの一方側の撮影画像において、記憶装置３３に格納されている参考データを利用して、計測対象の物体における特徴部位を検知する（ステップＳ１０２）。その後、計数部４１が、検知部４０により検知された撮影画像における特徴部位の数を計測する（ステップＳ１０３）。そして、制御装置３２は、検知部４０と計数部４１による処理が終わっていない未処理の撮影画像が有るか否かを判断する（ステップＳ１０４）。未処理の撮影画像が有る場合には、その未処理の撮影画像において、検知部４０による検知処理（ステップＳ１０２）と、計数部４１による計数処理（ステップＳ１０３）とが実行される。未処理の撮影画像が無い場合には、計数部４１は、撮影画像毎に算出された物体の計測数の合計し、当該合計値を計測対象の物体の数として算出する。その後、補正部４２が、計数部４１による計測対象の物体の計測数を補正する。この補正後の値が計測対象の物体の数として確定され、例えば、表示制御部４３によって表示装置３６に計測対象の物体の数として表示される。情報処理装置１５は、このような処理により、撮影画像から計測対象の物体の数を計測し、出力することができる。
　第２実施形態の計数システム１０では、複数のカメラ１２，１３が深さ方向に間隔を介して配設されるので、第１実施形態と同様に、計測対象の物体における明瞭な画像が得られるという効果を奏することができる。これにより、計数システム１０における情報処理装置１５は、撮影画像を利用する計数の機能によって計測対象の物体の数を精度良く計測することができる。
　また、第２実施形態では、複数のカメラ１２，１３の撮影画像を利用することに起因して、重複して計測されてしまう物体があるが、情報処理装置１５は、補正部４２によって、そのような重複した物体の数を補正できる。このため、情報処理装置１５は、複数のカメラ１２，１３の撮影画像を利用することに因る不具合の発生を防止できる。
　＜第３実施形態＞
　以下に、本発明に係る第３実施形態を説明する。なお、第３実施形態の説明において、第２実施形態における計数システムを構成する構成部分と同様な構成部分には同一符号を付し、その共通部分の重複説明は省略する。
　第３実施形態における計数システム１０は、撮影装置であるカメラの配設形態が第２実施形態と異なり、それ以外は、第２実施形態の計数システム１０とほぼ同様な構成を備えている。
　すなわち、図１１は、第３実施形態におけるカメラ５０の配設形態を模式的に表す斜視図である。図１２は、図１１の上方側から見たカメラ５０の配設形態を表すモデル図である。第３実施形態では、水中（生簀２５）においてカメラ５０が配設される位置は、水底に近い深さ位置Ｄｔと、水面に近い位置Ｄｂと、それら位置Ｄｂ，Ｄｔ間の間隔をほぼ等間隔に分ける位置Ｄｍ１，Ｄｍ２とである。また、カメラ５０が配設される各深さ位置（高さ位置）において、カメラ５０は４台ずつ配設される。深さ位置毎の４台のカメラ５０は、図１２に表されるように、水面に沿うような面に沿う互いに異なる四方向にそれぞれ向いて配設されている。図１１に表されるような複数のカメラ５０は、第２実施形態と同様に、生簀２５の中央部に配置される。
　第３実施形態における情報処理装置１５では、検知部４０は、各カメラ５０の撮影画像において計測対象の物体（魚）の特徴部位（頭）を検知する。第３実施形態では、カメラ５０は、計測対象の物体である魚を横側から撮影するので、検知部４０が特徴部位の検知処理で利用する参考データは、例えば、図１３および図１４に表されるような横側から見た魚の頭のサンプル画像である。
　計数部４１は、各カメラ５０の撮影画像において検知された特徴部位の数を計測し、各撮影画像における計測数を合計し、当該合計値を計測対象の物体の数として算出する。第３実施形態では、水平方向に隣り合っているカメラ５０におけるオーバーラップする撮影範囲は、例えば、図１２における領域Ｗとなる。また、高さ方向に隣り合っているカメラ５０の撮影範囲についても、オーバーラップする撮影範囲領域がある。補正部４２は、そのようなオーバーラップする撮影範囲領域において重複して計測される計測対象の物体の数を考慮して、計数部４１により算出された計測対象の物体の数を補正する。
　第３実施形態の計数システム１０は、カメラ５０の配設数を増加したことにより、計測対象の物体の計数精度を高めることができる。
　＜その他の実施形態＞
　なお、本発明は第１～第３の実施形態に限定されることなく、様々な実施の形態を採り得る。例えば、第２と第３の実施形態では、複数のカメラ５０が生簀２５の中央部に配置されている。これに代えて、例えば、図１６に表されるように、複数のカメラ５０は生簀２５の周縁部（図１６の例では角部）に配置されてもよい。この場合には、例えば、図１５に表されるように、互いに異なる各深さ位置に１台ずつカメラ５０が配設されている。図１７は、図１６におけるカメラ５０と生簀２５との関係を水面側から見たモデル図である。図１７に表されているように、各深さ位置のカメラ５０のレンズの向きは生簀２５の中央部を向く横向きの同方向となっている。なお、図１６に表されるように生簀２５の周縁部にカメラ５０が配置される場合において、カメラ５０の視野によっては、各深さ位置に複数ずつカメラ５０が配設されてもよい。
　また、第２実施形態では、カメラ１２，１３は図２に表されているように二段に配設され、第３実施形態ではカメラ５０は図１５に表されているように四段に配設されている。これに代えて、魚の数を計数する目的とする深さ範囲によってはカメラを配設する段数は三段や五段以上であってもよい。
　さらに、第２や第３の実施形態の構成に加えて、情報処理装置１５の検知部４０が検知処理を開始する前などの適宜なタイミングで、撮影画像における水の濁りを軽減する画像処理や、水の揺らぎに因る魚体の歪みを補正する画像処理が行われてもよい。また、撮影画像を物体の水深や明るさ等の撮影条件を考慮して補正する画像処理が行われてもよい。このように、情報処理装置１５が、撮影環境を考慮して撮影画像を画像処理（画像補正）することにより、計測対象の物体の計数精度をより高めることができる。また、情報処理装置１５は、そのように画像補正された撮影画像を利用することにより、参考データの数を少なくできるという効果を得ることができる。
　さらに、第２と第３の実施形態では、情報処理装置１５における検知部４０は、計測対象の物体の特徴部位として魚の頭を検知している。これに代えて、例えば、検知部４０は、魚の尾を検知してもよい。この場合には、検知部４０が検知処理で利用する参考データは、例えば、図１８および図１９に表されるような魚の尾のサンプル画像となる。
　さらに、第２と第３の実施形態では、情報処理装置１５の検知部４０は、計測対象の物体の一部を検知している。これに代えて、例えば、検知部４０は、計測対象の物体全体（魚体）を検知してもよい。この場合には、検知部４０が検知処理で利用する参考データは、例えば、図２０および図２１に表されるような魚体のサンプル画像となる。
　さらに、第２と第３の実施形態では、計測対象の物体として魚を例にして説明しているが、第２と第３の実施形態で説明した構成を持つ計数システム１０は、他の物体の計数にも適用可能である。
　以上、上述した実施形態を模範的な例として本発明を説明した。しかしながら、本発明は、上述した実施形態には限定されない。即ち、本発明は、本発明のスコープ内において、当業者が理解し得る様々な態様を適用することができる。
　この出願は、２０１６年９月３０日に出願された日本出願特願２０１６－１９４２６９を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
　（付記１）
　予め定められた撮影空間内における高さ方向に互いに間隔を介して配設される複数の撮影装置と、
　前記複数の撮影装置による撮影画像に基づいて、前記撮影空間内における計測対象の物体の数を計測する情報処理装置と
を備える計数システム。
　（付記２）
　前記複数の撮影装置は、前記高さ方向に撮影方向が向いている付記１に記載の計数システム。
　（付記３）
　前記撮影空間における同じ高さ位置に複数の前記撮影装置が配設されている付記１に記載の計数システム。
　（付記４）
　同じ高さ位置に配設される複数の撮影装置は、前記高さ方向に交差する面に沿う互いに異なる方向に撮影方向が向いている付記３に記載の計数システム。
　（付記５）
　前記撮影装置は、当該撮影装置が配設される高さ位置に応じた支持部材に固定されており、
　複数の前記支持部材は前記線条材によって連結され、当該線条材によって吊下げられる形態で前記高さ方向に並設される付記１乃至付記４の何れか一つに記載の計数システム。
　（付記６）
　前記撮影空間は水中であり、
　前記線条材の一方側は浮体に接続され、前記線条材の他方側は錘に接続されており、
　前記支持部材は、前記線条材によって深さ方向に並設される付記５に記載の計数システム。
　（付記７）
　前記複数の撮影装置は、前記撮影空間の中央部を通る位置に配設されている付記１乃至付記６の何れか一つに記載の計数システム。
　（付記８）
　前記複数の撮影装置は、それぞれ、撮影範囲が他の前記撮影装置の撮影範囲にオーバーラップするように配設されており、
　前記情報処理装置は、前記撮影装置の撮影画像から計数された計測対象の物体の数を、前記オーバーラップしている撮影範囲領域に基づいて補正する付記１乃至付記７の何れか一つに記載の計数システム。
　（付記９）
　前記情報処理装置は、前記撮影画像から、前記計測対象の物体における予め定めた特徴を持つ特徴部位を検知し、当該撮影画像における検知した前記特徴部位の数を前記計測対象の物体の数として計測する付記１乃至付記８の何れか一つに記載の計数システム。
　（付記１０）
　前記情報処理装置は、前記計測対象の物体における前記特徴部位の画像を利用して、前記撮影画像から前記特徴部位を検知する付記９に記載の計数システム。
　（付記１１）
　前記情報処理装置は、前記計測対象の物体における撮影条件が異なる前記特徴部位の複数の画像を利用して、前記撮影画像から前記特徴部位を検知する付記１０に記載の計数システム。
　（付記１２）
　前記計測対象の物体は魚であり、前記特徴部位は魚の頭であり、前記情報処理装置は、魚の頭の画像を利用して、前記撮影画像から魚の頭を検知する付記１０又は付記１１に記載の計数システム。
　（付記１３）
　予め定められた撮影空間内における高さ方向に互いに間隔を介して複数の撮影装置を配設し、
　前記複数の撮影装置による撮影画像に基づいて、前記撮影空間内における計測対象の物体の数を計測する計数方法。
　１，１０　計数システム
　２，３　撮影装置
　４，１５　情報処理装置
　１２，１３，５０　カメラ
　４０　検知部
　４１　計数部
　４２　補正部

Claims (13)

  1. 　予め定められた撮影空間内における高さ方向に互いに間隔を介して配設される複数の撮影装置と、
    　前記複数の撮影装置による撮影画像に基づいて、前記撮影空間内における計測対象の物体の数を計測する情報処理装置と
    を備える計数システム。
  2. 　前記複数の撮影装置は、前記高さ方向に撮影方向が向いている請求項１に記載の計数システム。
  3. 　前記撮影空間における同じ高さ位置に複数の前記撮影装置が配設されている請求項１に記載の計数システム。
  4. 　同じ高さ位置に配設される複数の撮影装置は、前記高さ方向に交差する面に沿う互いに異なる方向に撮影方向が向いている請求項３に記載の計数システム。
  5. 　前記撮影装置は、当該撮影装置が配設される高さ位置に応じた支持部材に固定されており、
    　複数の前記支持部材は線条材によって連結され、当該線条材によって吊下げられる形態で前記高さ方向に並設される請求項１乃至請求項４の何れか一つに記載の計数システム。
  6. 　前記撮影空間は水中であり、
    　前記線条材の一方側は浮体に接続され、前記線条材の他方側は錘に接続されており、
    　前記支持部材は、前記線条材によって深さ方向に並設される請求項５に記載の計数システム。
  7. 　前記複数の撮影装置は、前記撮影空間の中央部を通る位置に配設されている請求項１乃至請求項６の何れか一つに記載の計数システム。
  8. 　前記複数の撮影装置は、それぞれ、撮影範囲が他の前記撮影装置の撮影範囲にオーバーラップするように配設されており、
    　前記情報処理装置は、前記撮影装置の撮影画像から計数された計測対象の物体の数を、前記オーバーラップしている撮影範囲領域に基づいて補正する請求項１乃至請求項７の何れか一つに記載の計数システム。
  9. 　前記情報処理装置は、前記撮影画像から、前記計測対象の物体における予め定めた特徴を持つ特徴部位を検知し、当該撮影画像における検知した前記特徴部位の数を前記計測対象の物体の数として計測する請求項１乃至請求項８の何れか一つに記載の計数システム。
  10. 　前記情報処理装置は、前記計測対象の物体における前記特徴部位の画像を利用して、前記撮影画像から前記特徴部位を検知する請求項９に記載の計数システム。
  11. 　前記情報処理装置は、前記計測対象の物体における撮影条件が異なる前記特徴部位の複数の画像を利用して、前記撮影画像から前記特徴部位を検知する請求項１０に記載の計数システム。
  12. 　前記計測対象の物体は魚であり、前記特徴部位は魚の頭であり、前記情報処理装置は、魚の頭の画像を利用して、前記撮影画像から魚の頭を検知する請求項１０又は請求項１１に記載の計数システム。
  13. 　予め定められた撮影空間内における高さ方向に互いに間隔を介して複数の撮影装置を配設し、
    　前記複数の撮影装置による撮影画像に基づいて、前記撮影空間内における計測対象の物体の数を計測する計数方法。
PCT/JP2017/033882 2016-09-30 2017-09-20 計数システムおよび計数方法 WO2018061926A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018542456A JP6583565B2 (ja) 2016-09-30 2017-09-20 計数システムおよび計数方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016194269 2016-09-30
JP2016-194269 2016-09-30

Publications (1)

Publication Number Publication Date
WO2018061926A1 true WO2018061926A1 (ja) 2018-04-05

Family

ID=61759738

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/033882 WO2018061926A1 (ja) 2016-09-30 2017-09-20 計数システムおよび計数方法

Country Status (2)

Country Link
JP (1) JP6583565B2 (ja)
WO (1) WO2018061926A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020145336A1 (ja) * 2019-01-11 2020-07-16 株式会社ＦｕｌｌＤｅｐｔｈ 魚監視システム及びカメラユニット
WO2022129362A1 (en) 2020-12-16 2022-06-23 Createview As A system for monitoring of dead fish

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010063001A (ja) * 2008-09-05 2010-03-18 Mitsubishi Electric Corp 人物追跡装置および人物追跡プログラム
JP2010121970A (ja) * 2008-11-17 2010-06-03 Chugoku Electric Power Co Inc:The 移動体認識システム及び移動体認識方法
JP2011103098A (ja) * 2009-11-12 2011-05-26 Shinshu Univ 樹木本数算定方法及び樹木本数算定装置
JP2011125262A (ja) * 2009-12-17 2011-06-30 Nagasaki Prefecture 水中漁網洗浄装置
JP2016110381A (ja) * 2014-12-05 2016-06-20 古野電気株式会社 物体数計測装置、プログラムおよび物体数計測方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010063001A (ja) * 2008-09-05 2010-03-18 Mitsubishi Electric Corp 人物追跡装置および人物追跡プログラム
JP2010121970A (ja) * 2008-11-17 2010-06-03 Chugoku Electric Power Co Inc:The 移動体認識システム及び移動体認識方法
JP2011103098A (ja) * 2009-11-12 2011-05-26 Shinshu Univ 樹木本数算定方法及び樹木本数算定装置
JP2011125262A (ja) * 2009-12-17 2011-06-30 Nagasaki Prefecture 水中漁網洗浄装置
JP2016110381A (ja) * 2014-12-05 2016-06-20 古野電気株式会社 物体数計測装置、プログラムおよび物体数計測方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020145336A1 (ja) * 2019-01-11 2020-07-16 株式会社ＦｕｌｌＤｅｐｔｈ 魚監視システム及びカメラユニット
EP3909424A4 (en) * 2019-01-11 2022-10-19 Fulldepth Co., Ltd. FISH MONITORING SYSTEM AND CAMERA UNIT
WO2022129362A1 (en) 2020-12-16 2022-06-23 Createview As A system for monitoring of dead fish

Also Published As

Publication number Publication date
JP6583565B2 (ja) 2019-10-02
JPWO2018061926A1 (ja) 2019-06-27

Similar Documents

Publication Publication Date Title
JP6849081B2 (ja) 情報処理装置、計数システム、計数方法およびコンピュータプログラム
JP7004094B2 (ja) 魚体長さ測定システム、魚体長さ測定方法および魚体長さ測定プログラム
EP3248374B1 (en) Method and apparatus for multiple technology depth map acquisition and fusion
CN103688530B (zh) 用于生成和评估图像的方法
TWI527448B (zh) 成像設備，影像處理方法，及用以記錄程式於其上之記錄媒體
JP6981531B2 (ja) 物体同定装置、物体同定システム、物体同定方法およびコンピュータプログラム
US20140218569A1 (en) Imaging apparatus, control method therefor, and storage medium
JP7001145B2 (ja) 情報処理装置、物体計測システム、物体計測方法およびコンピュータプログラム
WO2018061928A1 (ja) 情報処理装置、計数システム、計数方法およびプログラム記憶媒体
JP6583565B2 (ja) 計数システムおよび計数方法
JP6816773B2 (ja) 情報処理装置、情報処理方法およびコンピュータプログラム
JP2012015642A (ja) 撮像装置
JP2015012482A (ja) 画像処理装置及び画像処理方法
JP6879375B2 (ja) 情報処理装置、長さ測定システム、長さ測定方法およびコンピュータプログラム
JP2011134117A (ja) 被写体領域抽出装置およびその制御方法、被写体追跡装置、並びにプログラム
JP2012034069A (ja) 画像処理装置、および画像処理プログラム
JP2008281481A (ja) 解像測定装置及び方法
WO2014073590A1 (ja) ３次元計測装置および３次元計測方法
JP6381206B2 (ja) 画像処理装置、その制御方法およびプログラム
TW201234235A (en) Method and system for calculating calibration information for an optical touch apparatus
TWI469089B (zh) 影像判斷方法以及物件座標計算裝置
JP2008252304A (ja) 動画像処理装置及び方法
JP7463133B2 (ja) 面積計測装置、面積計測方法、及びプログラム
JP2014057261A (ja) 画像生成装置、画像生成方法、撮像装置、および撮像方法
JPH0556355A (ja) 光電変換装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17855881

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018542456

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17855881

Country of ref document: EP

Kind code of ref document: A1