JP6879375B2 - Information processing equipment, length measurement system, length measurement method and computer program - Google Patents

Information processing equipment, length measurement system, length measurement method and computer program Download PDF

Info

Publication number
JP6879375B2
JP6879375B2 JP2019539697A JP2019539697A JP6879375B2 JP 6879375 B2 JP6879375 B2 JP 6879375B2 JP 2019539697 A JP2019539697 A JP 2019539697A JP 2019539697 A JP2019539697 A JP 2019539697A JP 6879375 B2 JP6879375 B2 JP 6879375B2
Authority
JP
Japan
Prior art keywords
fish
image
detected
length
angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019539697A
Other languages
Japanese (ja)
Other versions
JPWO2019045089A1 (en
Inventor
丈晴 北川
丈晴 北川
君 朴
君 朴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2019045089A1 publication Critical patent/JPWO2019045089A1/en
Application granted granted Critical
Publication of JP6879375B2 publication Critical patent/JP6879375B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness

Description

本発明は、測定対象の物体を撮影した撮影画像から物体の長さを測定する技術に関する。 The present invention relates to a technique for measuring the length of an object from a photographed image of the object to be measured.

魚の養殖技術の向上のために、養殖している魚の成長を観測することが行われている。特許文献１には、魚の観測に関わる技術が開示されている。この特許文献１における技術では、水槽の上方側（あるいは底側）と横側から撮影された魚の背側（あるいは腹側）の撮影画像と、頭側の正面の撮影画像とに基づいて、魚の頭、胴体、尾ひれ等の部位の形状や大きさが部位毎に推定される。その魚の部位毎の形状や大きさの推定は、各部位毎に与えられている複数のテンプレート画像を利用して行われる。すなわち、各部位毎の撮影画像がそれぞれ各部位毎のテンプレート画像に照合され、撮影画像に合うテンプレート画像中の魚の部位における大きさ等の既知の情報に基づいて、魚の各部位毎の大きさ等が推定される。 In order to improve fish farming techniques, the growth of farmed fish is being observed. Patent Document 1 discloses a technique related to fish observation. In the technique of Patent Document 1, the image of the dorsal side (or ventral side) of the fish taken from the upper side (or the bottom side) and the side side of the water tank and the image taken from the front side of the head side of the fish are used. The shape and size of parts such as the head, torso, and tail fins are estimated for each part. The shape and size of each part of the fish are estimated by using a plurality of template images given for each part. That is, the captured image for each part is collated with the template image for each part, and the size of each part of the fish, etc., is based on known information such as the size of the fish part in the template image that matches the photographed image. Is estimated.

特許文献２には、水中の魚を動画カメラと静止画カメラによって撮影し、撮影された動画および静止画に基づいて、魚影を検知する技術が開示されている。また、特許文献２には、画像サイズ（画素数）によって、魚のサイズを推定する構成が示されている。 Patent Document 2 discloses a technique in which an underwater fish is photographed by a moving image camera and a still image camera, and a fish shadow is detected based on the photographed moving image and the still image. Further, Patent Document 2 shows a configuration in which the size of a fish is estimated based on the image size (number of pixels).

特開２００３−２５０３８２号公報Japanese Unexamined Patent Publication No. 2003-250382 特開２０１３−２０１７１４号公報Japanese Unexamined Patent Publication No. 2013-201714

特許文献１に記載されている技術では、テンプレート画像中の魚の部位における既知の大きさの情報に基づいて魚の部位の大きさが推定されている。つまり、特許文献１における技術では、テンプレート画像中の魚の部位の大きさが測定対象の魚の部位の大きさとして検知されているにすぎず、測定対象の魚の部位の大きさを測定していないので、大きさの検知精度を高めにくいという問題が生じる。 In the technique described in Patent Document 1, the size of the fish part is estimated based on the information of the known size of the fish part in the template image. That is, in the technique of Patent Document 1, the size of the fish part in the template image is only detected as the size of the fish part to be measured, and the size of the fish part to be measured is not measured. However, there arises a problem that it is difficult to improve the size detection accuracy.

特許文献２には、魚影サイズとして画像サイズ（画素数）を検知する構成は示されているものの、魚の実際の大きさを検知する構成は開示されていない。 Patent Document 2 discloses a configuration for detecting an image size (number of pixels) as a fish shadow size, but does not disclose a configuration for detecting the actual size of a fish.

本発明は上記課題を解決するために考え出された。すなわち、本発明の主な目的は、撮影画像に基づいて測定対象の物体の長さを容易に、かつ、精度良く検知できる技術を提供することにある。 The present invention has been devised to solve the above problems. That is, a main object of the present invention is to provide a technique capable of easily and accurately detecting the length of an object to be measured based on a captured image.

上記目的を達成するために、本発明に係る情報処理装置の一態様は、
測定対象の物体が撮影されている撮影画像から、前記物体における予め定められた特徴を持つ対を成す特徴部位を検知する検知部と、
前記撮影画像において、前記対として検知された特徴部位間を結ぶ仮想線分あるいは仮想直線あるいは仮想半直線である傾き調査線と、予め定められた仮想基準線との成す角度が、前記撮影画像における前記特徴部位の画像と角度参考データに基づいて検知される前記測定対象の物体の傾きに応じた参考角度である場合に、前記傾き調査線の基となった対を成す特徴部位間の長さを算出する算出部と
を備える。In order to achieve the above object, one aspect of the information processing device according to the present invention is
A detection unit that detects a pair of characteristic parts having predetermined characteristics in the object from a captured image in which the object to be measured is photographed.
In the captured image, the angle formed by the inclination survey line, which is a virtual line segment, a virtual straight line, or a virtual half straight line connecting the feature portions detected as the pair, and a predetermined virtual reference line is determined in the captured image. When the reference angle corresponds to the inclination of the object to be measured, which is detected based on the image of the feature portion and the angle reference data, the length between the paired feature portions that form the basis of the inclination survey line. It is provided with a calculation unit for calculating.

また、本発明に係る長さ測定システムの一態様は、
測定対象の物体を撮影する撮影装置と、
前記撮影装置により撮影された撮影画像を利用して、前記物体における予め定められた特徴を持つ対を成す特徴部位間の長さを算出する情報処理装置と
を備え、
前記情報処理装置は、
前記測定対象の物体が撮影されている撮影画像から、前記物体における予め定められた特徴を持つ対を成す特徴部位を検知する検知部と、
前記撮影画像において、前記対として検知された特徴部位間を結ぶ仮想線分あるいは仮想直線あるいは仮想半直線である傾き調査線と、予め定められた仮想基準線との成す角度が、前記撮影画像における前記特徴部位の画像と角度参考データに基づいて検知される前記測定対象の物体の傾きに応じた参考角度である場合に、前記傾き調査線の基となった対を成す特徴部位間の長さを算出する算出部とを備える。Moreover, one aspect of the length measuring system according to the present invention is
An imaging device that photographs the object to be measured, and
It is provided with an information processing device that calculates the length between paired feature parts having predetermined features in the object by using the captured image taken by the photographing device.
The information processing device
A detection unit that detects a pair of feature portions having predetermined features in the object from a captured image in which the object to be measured is captured.
In the captured image, the angle formed by the inclination survey line, which is a virtual line segment, a virtual straight line, or a virtual half straight line connecting the feature portions detected as the pair, and a predetermined virtual reference line is determined in the captured image. When the reference angle corresponds to the inclination of the object to be measured, which is detected based on the image of the feature portion and the angle reference data, the length between the paired feature portions that form the basis of the inclination survey line. It is provided with a calculation unit for calculating.

さらに、本発明に係る長さ測定方法の一態様は、
測定対象の物体が撮影されている撮影画像から、前記物体における予め定められた特徴を持つ対を成す特徴部位を検知し、
前記撮影画像において、前記対として検知された特徴部位間を結ぶ仮想線分あるいは仮想直線あるいは仮想半直線である傾き調査線と、予め定められた仮想基準線との成す角度が、前記撮影画像における前記特徴部位の画像と角度参考データに基づいて検知される前記測定対象の物体の傾きに応じた参考角度である場合に、前記傾き調査線の基となった対を成す特徴部位間の長さを算出する。Further, one aspect of the length measuring method according to the present invention is
From the captured image in which the object to be measured is photographed, a pair of characteristic parts having predetermined characteristics in the object is detected.
In the captured image, the angle formed by the inclination survey line, which is a virtual line segment, a virtual straight line, or a virtual half straight line connecting the feature portions detected as the pair, and a predetermined virtual reference line is determined in the captured image. When the reference angle corresponds to the inclination of the object to be measured, which is detected based on the image of the feature portion and the angle reference data, the length between the paired feature portions that form the basis of the inclination survey line. Is calculated.

さらにまた、本発明に係るプログラム記憶媒体の一態様は、
測定対象の物体が撮影されている撮影画像から、前記物体における予め定められた特徴を持つ対を成す特徴部位を検知する処理と、
前記撮影画像において、前記対として検知された特徴部位間を結ぶ仮想線分あるいは仮想直線あるいは仮想半直線である傾き調査線と、予め定められた仮想基準線との成す角度が、前記撮影画像における前記特徴部位の画像と角度参考データに基づいて検知される前記測定対象の物体の傾きに応じた参考角度である場合に、前記傾き調査線の基となった対を成す特徴部位間の長さを算出する処理とをコンピュータに実行させるコンピュータプログラムを記憶する。Furthermore, one aspect of the program storage medium according to the present invention is
A process of detecting a pair of featured parts having predetermined features in the object from a photographed image of the object to be measured, and a process of detecting the paired feature parts of the object.
In the captured image, the angle formed by the inclination survey line, which is a virtual line segment, a virtual straight line, or a virtual half straight line connecting the feature portions detected as the pair, and a predetermined virtual reference line is determined in the captured image. When the reference angle corresponds to the inclination of the object to be measured, which is detected based on the image of the feature portion and the angle reference data, the length between the paired feature portions that form the basis of the inclination survey line. Stores a computer program that causes the computer to execute the process of calculating.

本発明によれば、撮影画像に基づいて測定対象の物体の長さを容易に、かつ、精度良く検知できる。 According to the present invention, the length of an object to be measured can be easily and accurately detected based on a captured image.

本発明に係る第１実施形態の情報処理装置の構成を簡略化して表すブロック図である。It is a block diagram which simplifies the structure of the information processing apparatus of 1st Embodiment which concerns on this invention. 第１実施形態の情報処理装置に撮影画像を提供する撮影装置（カメラ）を支持する支持部材とカメラの搭載例を図２Ｂと共に説明する図である。It is a figure explaining the mounting example of the support member which supports the photographing apparatus (camera) which provides the captured image to the information processing apparatus of 1st Embodiment, and the camera with FIG. 2B. 第１実施形態の情報処理装置に撮影画像を提供する撮影装置（カメラ）を支持する支持部材とカメラの搭載例を図２Ａと共に説明する図である。It is a figure explaining the mounting example of the support member which supports the photographing apparatus (camera) which provides the captured image to the information processing apparatus of 1st Embodiment, and the camera with FIG. 第１実施形態において、カメラが測定対象の物体である魚を撮影する態様を説明する図である。It is a figure explaining the mode in which a camera takes a picture of a fish which is an object to be measured in 1st Embodiment. 測定対象の物体である魚を撮影した撮影画像を表示装置に表示する表示態様の一例を説明する図である。It is a figure explaining an example of the display mode which displays the photographed image which imaged the fish which is the object to be measured on the display device. 第１実施形態の情報処理装置の処理で使用する調査範囲の一例を説明する図である。It is a figure explaining an example of the investigation range used in the processing of the information processing apparatus of 1st Embodiment. 魚の長さ測定に利用する特徴部位の参考データの例を表す図である。It is a figure which shows the example of the reference data of the characteristic part used for the length measurement of a fish. 第１実施形態では参考データとして採用されない魚の撮影画像の例を説明する図である。It is a figure explaining the example of the photographed image of the fish which is not adopted as reference data in 1st Embodiment. 第１実施形態の情報処理装置が測定対象の魚の長さを測定する処理を説明する図である。It is a figure explaining the process which the information processing apparatus of 1st Embodiment measures the length of a fish to be measured. さらに、第１実施形態における測定対象の魚の長さを測定する処理を説明する図である。Further, it is a figure explaining the process of measuring the length of the fish to be measured in 1st Embodiment. 調査範囲内に複数の測定対象の魚の画像があることに因る不具合の一例を説明する図である。It is a figure explaining an example of a defect caused by having a plurality of images of the fish to be measured within the investigation range. 調査範囲内に複数の測定対象の魚の画像があることに因る不具合の別の例を説明する図である。It is a figure explaining another example of a defect caused by having a plurality of images of the fish to be measured within the investigation range. 頭と尾の特徴部位の組み合わせ（対）の正誤を判断する手法を説明する図である。It is a figure explaining the method of judging the correctness of the combination (pair) of the characteristic part of a head and a tail. さらに、頭と尾の特徴部位の組み合わせ（対）の正誤を判断する手法を説明する図である。Furthermore, it is a figure explaining the method of judging the correctness of the combination (pair) of the characteristic part of a head and a tail. 第１実施形態における魚の傾きの定義を説明する図である。It is a figure explaining the definition of the inclination of a fish in 1st Embodiment. 傾き角度検知用データの一例を説明する図である。It is a figure explaining an example of the tilt angle detection data. さらに、傾き角度検知用データの一例を説明する図である。Further, it is a figure explaining an example of the tilt angle detection data. 調査範囲内に複数の特徴部位の組み合わせが検知された場合における算出部による検知された角度の情報の一例を表す図である。It is a figure which shows an example of the information of the angle detected by the calculation part when the combination of a plurality of characteristic parts is detected within the investigation range. 第１実施形態の情報処理装置における長さを測定する処理の手順を表すフローチャートである。It is a flowchart which shows the procedure of the process of measuring the length in the information processing apparatus of 1st Embodiment. 本発明に係る第２実施形態の情報処理装置の構成において特徴的な部分を抜き出して表すブロック図である。It is a block diagram which shows by extracting the characteristic part in the structure of the information processing apparatus of 2nd Embodiment which concerns on this invention. 第２実施形態の情報処理装置が撮影画像に調査範囲を確定する処理の一例を説明する図である。It is a figure explaining an example of the process which the information processing apparatus of 2nd Embodiment determines the investigation range in the photographed image. 第２実施形態において、調査範囲の確定に利用する参考データの例を表す図である。It is a figure which shows the example of the reference data used for determining the investigation range in the 2nd Embodiment. さらに、調査範囲の確定に利用する参考データの例を表す図である。Furthermore, it is a figure which shows the example of the reference data used for determining the investigation range. 第２実施形態の情報処理装置が撮影画像において確定した調査範囲の一例を表す図である。It is a figure which shows an example of the investigation range which the information processing apparatus of 2nd Embodiment confirmed in the photographed image. 参考データを教師付き機械学習により作成する場合における教師データの取得手法の一例を説明する図である。It is a figure explaining an example of the teacher data acquisition method in the case of creating a reference data by supervised machine learning. 測定対象の物体である魚の頭を検知する処理で利用する参考データの例を表す図である。It is a figure which shows the example of the reference data used in the process of detecting the head of a fish which is an object to be measured. 測定対象の物体である魚の頭を検知する処理で利用する参考データの例を表す図である。It is a figure which shows the example of the reference data used in the process of detecting the head of a fish which is an object to be measured. 測定対象の物体である魚の尾を検知する処理で利用する参考データの例を表す図である。It is a figure which shows the example of the reference data used in the process of detecting the tail of a fish which is an object to be measured. 測定対象の物体である魚の尾を検知する処理で利用する参考データの例を表す図である。It is a figure which shows the example of the reference data used in the process of detecting the tail of a fish which is an object to be measured. 本発明に係るその他の実施形態の情報処理装置の構成を簡略化して表すブロック図である。It is a block diagram which simplifies the structure of the information processing apparatus of another embodiment which concerns on this invention. 本発明に係るその他の実施形態の長さ測定システムの構成を簡略化して表すブロック図である。It is a block diagram which simplifies the structure of the length measuring system of the other embodiment which concerns on this invention.

以下に、本発明に係る実施形態を図面を参照しながら説明する。 Hereinafter, embodiments according to the present invention will be described with reference to the drawings.

＜第１実施形態＞
図１は、本発明に係る第１実施形態の情報処理装置の構成を簡略化して表すブロック図である。第１実施形態では、情報処理装置２０は、図２Ａに表されるような複数（２台）のカメラ４０Ａ，４０Ｂによって撮影された測定対象の物体である魚の撮影画像から、魚の長さを算出する機能を備えている。この情報処理装置２０は、カメラ４０Ａ，４０Ｂと共に、長さ測定システムを構成する。<First Embodiment>
FIG. 1 is a block diagram showing a simplified configuration of the information processing apparatus according to the first embodiment of the present invention. In the first embodiment, the information processing apparatus 20 calculates the length of the fish from the captured images of the fish, which is the object to be measured, taken by a plurality of (two) cameras 40A and 40B as shown in FIG. 2A. It has a function to do. The information processing device 20 constitutes a length measuring system together with the cameras 40A and 40B.

第１実施形態では、カメラ４０Ａ，４０Ｂは、動画を撮影する機能を備えている撮影装置であるが、動画撮影機能を持たずに例えば静止画を設定の時間間隔毎に断続的に撮影する撮影装置をカメラ４０Ａ，４０Ｂとして採用してもよい。 In the first embodiment, the cameras 40A and 40B are shooting devices having a function of shooting a moving image, but they do not have a moving image shooting function and, for example, take pictures of still images intermittently at set time intervals. The device may be adopted as cameras 40A and 40B.

ここでは、カメラ４０Ａ，４０Ｂは、図２Ａに表されるような支持部材４２に支持固定されることにより、図２Ｂに表されるように間隔を介して並設されている状態で、魚を撮影する。支持部材４２は、伸縮棒４３と、取り付け棒４４と、取り付け具４５Ａ，４５Ｂとを有して構成されている。この例では、伸縮棒４３は、伸縮自在な棒部材であり、さらに、伸縮可能な長さ範囲内における使用に適切な長さで長さを固定できる構成を備えている。取り付け棒４４は、例えばアルミニウム等の金属材料により構成されており、伸縮棒４３に直交するように接合されている。取り付け棒４４には、伸縮棒４３との接合部分を中心にして対称となる部位にそれぞれ取り付け具４５Ａ，４５Ｂが固定されている。取り付け具４５Ａ，４５Ｂは、カメラ４０Ａ，４０Ｂを搭載する搭載面４６Ａ，４６Ｂを備え、当該搭載面４６Ａ，４６Ｂに搭載されたカメラ４０Ａ，４０Ｂを例えば螺子等により搭載面４６Ａ，４６Ｂにがたつきなく固定する構成が設けられている。 Here, the cameras 40A and 40B are supported and fixed to the support member 42 as shown in FIG. 2A, so that the fish are arranged side by side with an interval as shown in FIG. 2B. Take a picture. The support member 42 includes a telescopic rod 43, a mounting rod 44, and mounting tools 45A and 45B. In this example, the telescopic rod 43 is a stretchable rod member, and further has a configuration in which the length can be fixed to a length suitable for use within the stretchable length range. The mounting rod 44 is made of a metal material such as aluminum, and is joined so as to be orthogonal to the telescopic rod 43. Mounting tools 45A and 45B are fixed to the mounting rods 44 at sites symmetrical with respect to the joint portion with the telescopic rods 43, respectively. The mounting tools 45A and 45B include mounting surfaces 46A and 46B on which the cameras 40A and 40B are mounted, and the cameras 40A and 40B mounted on the mounting surfaces 46A and 46B rattle on the mounting surfaces 46A and 46B by, for example, screws. There is a configuration to fix the screws.

カメラ４０Ａ，４０Ｂは、上述したような構成を持つ支持部材４２に固定されることにより、予め設定された間隔を介して並設されている状態を維持することができる。また、第１実施形態では、カメラ４０Ａ，４０Ｂに設けられているレンズが同じ方向を向き、かつ、レンズの光軸が平行となるように、カメラ４０Ａ，４０Ｂは支持部材４２に固定される。なお、カメラ４０Ａ，４０Ｂを支持固定する支持部材は、図２Ａ等に表される支持部材４２に限定されない。例えば、カメラ４０Ａ，４０Ｂを支持固定する支持部材は、支持部材４２における伸縮棒４３に代えて、１本あるいは複数本のロープを利用し、当該ロープによって取り付け棒４４を吊下げる構成であってもよい。 By fixing the cameras 40A and 40B to the support member 42 having the above-described configuration, it is possible to maintain a state in which the cameras 40A and 40B are arranged side by side with a preset interval. Further, in the first embodiment, the cameras 40A and 40B are fixed to the support member 42 so that the lenses provided on the cameras 40A and 40B face the same direction and the optical axes of the lenses are parallel to each other. The support member for supporting and fixing the cameras 40A and 40B is not limited to the support member 42 shown in FIG. 2A and the like. For example, the support member for supporting and fixing the cameras 40A and 40B may use one or a plurality of ropes instead of the telescopic rod 43 in the support member 42, and suspend the attachment rod 44 by the rope. Good.

カメラ４０Ａ，４０Ｂは、支持部材４２に固定されている状態で、例えば図３に表されるように魚が養殖されている生簀４８に進入し、魚の観測（換言すれば、測定対象の物体である魚の撮影）に適切と判断された水深およびレンズの向きで配設される。なお、生簀４８に進入させた支持部材４２（カメラ４０Ａ，４０Ｂ）を適宜な水深およびレンズの向きで配設固定する手法には様々な手法が考えられ、ここでは、何れの手法を採用してもよく、その説明は省略する。また、カメラ４０Ａ，４０Ｂのキャリブレーションは、生簀４８の環境や測定対象の魚の種類等を考慮した適宜なキャリブレーション手法によって行われる。ここでは、そのキャリブレーション手法の説明は省略する。 The cameras 40A and 40B enter the cage 48 where the fish are cultivated, for example, as shown in FIG. 3, while being fixed to the support member 42, and observe the fish (in other words, the object to be measured. It is arranged at a water depth and lens orientation that are judged to be appropriate for (shooting a certain fish). In addition, various methods can be considered as a method of arranging and fixing the support members 42 (cameras 40A and 40B) that have entered the cage 48 at an appropriate water depth and lens orientation, and here, any method is adopted. However, the description thereof will be omitted. Further, the calibration of the cameras 40A and 40B is performed by an appropriate calibration method in consideration of the environment of the cage 48, the type of fish to be measured, and the like. Here, the description of the calibration method will be omitted.

さらに、カメラ４０Ａ，４０Ｂによる撮影を開始する手法および撮影を停止する手法は、カメラ４０Ａ，４０Ｂの性能や生簀４８の環境などを考慮した適宜な手法が採用される。例えば、魚の観測者（測定者）が、カメラ４０Ａ，４０Ｂを生簀４８に進入させる前に手動により撮影を開始させ、また、カメラ４０Ａ，４０Ｂを生簀４８から退出させた後に手動により撮影を停止させる。また、カメラ４０Ａ，４０Ｂが無線通信あるいは有線通信の機能を備えている場合には、撮影開始と撮影停止を制御する情報を送信できる操作装置と、カメラ４０Ａ，４０Ｂとを通信接続する。そして、観測者による操作装置の操作により、水中のカメラ４０Ａ，４０Ｂの撮影開始と撮影停止が制御されてもよい。 Further, as a method of starting shooting with the cameras 40A and 40B and a method of stopping shooting, an appropriate method considering the performance of the cameras 40A and 40B and the environment of the cage 48 is adopted. For example, a fish observer (measurer) manually starts shooting before moving the cameras 40A and 40B into the cage 48, and manually stops shooting after moving the cameras 40A and 40B out of the cage 48. .. When the cameras 40A and 40B have a wireless communication or wired communication function, the operating device capable of transmitting information for controlling the start and stop of shooting is connected to the cameras 40A and 40B by communication. Then, the start and stop of shooting of the underwater cameras 40A and 40B may be controlled by the operation of the operating device by the observer.

また、カメラ４０Ａとカメラ４０Ｂの一方又は両方の撮影中の画像をカメラ４０Ａ，４０Ｂから有線通信あるいは無線通信により受信可能なモニタ装置が用いられてもよい。この場合には、観測者は、モニタ装置により撮影中の画像を見ることが可能となる。これにより、例えば、観測者は、撮影中の画像を見ながら、カメラ４０Ａ，４０Ｂの撮影方向や水深を変更することが可能となる。なお、モニタ機能を備えた携帯端末がモニタ装置として用いられてもよい。 Further, a monitor device capable of receiving an image being captured by one or both of the cameras 40A and the camera 40B from the cameras 40A and 40B by wired communication or wireless communication may be used. In this case, the observer can see the image being photographed by the monitoring device. As a result, for example, the observer can change the shooting direction and the water depth of the cameras 40A and 40B while viewing the image being shot. A mobile terminal having a monitor function may be used as a monitor device.

ところで、情報処理装置２０は、魚の長さを算出する処理において、同じ時点に撮影されたカメラ４０Ａの撮影画像とカメラ４０Ｂの撮影画像とを用いる。このことを考慮し、同じ時点に撮影されたカメラ４０Ａによる撮影画像とカメラ４０Ｂによる撮影画像とを得やすくするために、撮影中に、時間合わせに用いる目印となる変化をもカメラ４０Ａ，４０Ｂに撮影させることが好ましい。例えば、時間合わせに用いる目印として、自動制御あるいは観測者の手動によって短時間発光する光を利用することとし、カメラ４０Ａ，４０Ｂがその光を撮影するようにしてもよい。これにより、カメラ４０Ａ，４０Ｂによる撮影画像に撮影されたその光に基づき、カメラ４０Ａによる撮影画像と、カメラ４０Ｂによる撮影画像との時間合わせ（同期）を行うことが容易となる。 By the way, in the process of calculating the length of the fish, the information processing apparatus 20 uses the captured image of the camera 40A and the captured image of the camera 40B taken at the same time point. In consideration of this, in order to make it easier to obtain the image taken by the camera 40A and the image taken by the camera 40B at the same time, the cameras 40A and 40B are changed to be used as a mark for time adjustment during shooting. It is preferable to take a picture. For example, as a mark used for time adjustment, light emitted for a short time by automatic control or manual operation by the observer may be used, and the cameras 40A and 40B may capture the light. As a result, it becomes easy to time-match (synchronize) the image captured by the camera 40A and the image captured by the camera 40B based on the light captured by the images captured by the cameras 40A and 40B.

上述したようなカメラ４０Ａ，４０Ｂにより撮影された撮影画像は、可搬型記憶媒体（例えば、ＳＤ（Secure Digital）カード）に格納された後に当該可搬型記憶媒体から情報処理装置２０に取り込まれる。カメラ４０Ａ，４０Ｂによる撮影画像は、有線通信あるいは無線通信によって情報処理装置２０に取り込まれてもよい。 The captured images taken by the cameras 40A and 40B as described above are stored in a portable storage medium (for example, an SD (Secure Digital) card) and then taken into the information processing device 20 from the portable storage medium. The images captured by the cameras 40A and 40B may be captured in the information processing device 20 by wired communication or wireless communication.

情報処理装置２０は、図１に表されるように、概略すると、制御装置２２と、記憶装置２３とを備えている。また、情報処理装置２０は、例えば観測者の操作により情報を情報処理装置２０に入力する入力装置（例えば、キーボードやマウス）２５と、情報を表示する表示装置２６に接続されている。さらに、情報処理装置２０は、当該情報処理装置２０とは別体の外付けの記憶装置２４に接続されていてもよい。 As shown in FIG. 1, the information processing device 20 roughly includes a control device 22 and a storage device 23. Further, the information processing device 20 is connected to an input device (for example, a keyboard or a mouse) 25 for inputting information to the information processing device 20 by an observer's operation, and a display device 26 for displaying the information. Further, the information processing device 20 may be connected to an external storage device 24 that is separate from the information processing device 20.

記憶装置２３は、各種データやコンピュータプログラム（以下、プログラムとも記す）を記憶する機能を有し、例えば、ハードディスク装置や半導体メモリ等の記憶媒体により実現される。情報処理装置２０に備えられる記憶装置２３は一つには限定されず、複数種の記憶装置が情報処理装置２０に備えられていてもよく、この場合には、複数の記憶装置を総称して記憶装置２３と記す。また、記憶装置２４も、記憶装置２３と同様に、各種データやコンピュータプログラムを記憶する機能を有し、例えば、ハードディスク装置や半導体メモリ等の記憶媒体により実現される。なお、情報処理装置２０が記憶装置２４に接続されている場合には、記憶装置２４には適宜な情報が格納される。また、この場合には、情報処理装置２０は、適宜、記憶装置２４に情報を書き込む処理および読み出す処理を実行するが、以下の説明では、記憶装置２４に関する説明を省略する。 The storage device 23 has a function of storing various data and a computer program (hereinafter, also referred to as a program), and is realized by, for example, a storage medium such as a hard disk device or a semiconductor memory. The storage device 23 provided in the information processing device 20 is not limited to one, and a plurality of types of storage devices may be provided in the information processing device 20. In this case, the plurality of storage devices are collectively referred to. It is referred to as a storage device 23. Further, the storage device 24 also has a function of storing various data and computer programs like the storage device 23, and is realized by, for example, a storage medium such as a hard disk device or a semiconductor memory. When the information processing device 20 is connected to the storage device 24, appropriate information is stored in the storage device 24. Further, in this case, the information processing device 20 appropriately executes a process of writing information to the storage device 24 and a process of reading the information, but the description of the storage device 24 will be omitted in the following description.

第１実施形態では、記憶装置２３には、カメラ４０Ａ，４０Ｂによる撮影画像が、撮影したカメラを表す情報や、撮影時間の情報などの撮影状況に関わる情報と関連付けられた状態で格納される。 In the first embodiment, the image captured by the cameras 40A and 40B is stored in the storage device 23 in a state of being associated with information representing the captured camera and information related to the shooting situation such as information on the shooting time.

制御装置２２は、例えば、ＣＰＵ（Central Processing Unit）等のプロセッサにより構成される。制御装置２２は、例えばＣＰＵが記憶装置２３に格納されているコンピュータプログラムを実行することにより、次のような機能を有することができる。すなわち、制御装置２２は、機能部として、検知部３０と、特定部３１と、算出部３２と、分析部３３と、表示制御部３４とを備えている。 The control device 22 is composed of, for example, a processor such as a CPU (Central Processing Unit). The control device 22 can have the following functions, for example, by the CPU executing a computer program stored in the storage device 23. That is, the control device 22 includes a detection unit 30, a specific unit 31, a calculation unit 32, an analysis unit 33, and a display control unit 34 as functional units.

表示制御部３４は、表示装置２６の表示動作を制御する機能を備えている。例えば、表示制御部３４は、入力装置２５から、カメラ４０Ａ，４０Ｂの撮影画像を再生する要求を受け取った場合に、記憶装置２３から要求に応じたカメラ４０Ａ，４０Ｂの撮影画像を読み出し当該撮影画像を表示装置２６に表示する。図４は、表示装置２６におけるカメラ４０Ａ，４０Ｂの撮影画像の表示例を表す図である。図４の例では、二画面表示により、カメラ４０Ａによる撮影画像４１Ａとカメラ４０Ｂによる撮影画像４１Ｂが並んで表示される。 The display control unit 34 has a function of controlling the display operation of the display device 26. For example, when the display control unit 34 receives a request from the input device 25 to reproduce the captured images of the cameras 40A and 40B, the display control unit 34 reads out the captured images of the cameras 40A and 40B in response to the request from the storage device 23 and said the captured images. Is displayed on the display device 26. FIG. 4 is a diagram showing a display example of captured images of the cameras 40A and 40B in the display device 26. In the example of FIG. 4, the image 41A taken by the camera 40A and the image 41B taken by the camera 40B are displayed side by side by the two-screen display.

なお、表示制御部３４は、表示装置２６に同時に表示される撮影画像４１Ａ，４１Ｂの撮影時点が同じになるように、撮影画像４１Ａ，４１Ｂの同期が可能な機能を備える。例えば、表示制御部３４は、カメラ４０Ａ，４０Ｂに同時撮影された前述したような時間合わせの目印を利用して、観測者が撮影画像４１Ａ，４１Ｂの再生コマを調整可能な機能を備える。 The display control unit 34 has a function capable of synchronizing the captured images 41A and 41B so that the captured images 41A and 41B simultaneously displayed on the display device 26 have the same shooting time. For example, the display control unit 34 has a function that allows the observer to adjust the playback frames of the captured images 41A and 41B by using the time adjustment marks as described above that are simultaneously photographed by the cameras 40A and 40B.

検知部３０は、表示装置２６に表示（再生）されている撮影画像４１Ａ，４１Ｂにおいて、測定対象の魚を指定する情報の入力を観測者に促す機能を備えている。例えば、検知部３０は、表示制御部３４を利用して、図４のように撮影画像４１Ａ，４１Ｂが表示されている表示装置２６に、「測定対象の魚を指定（選択）して下さい」旨のメッセージを表示させる。第１実施形態では、観測者が入力装置２５を操作することにより、撮影画像４１Ａ，４１Ｂのそれぞれにおいて、図５に表されるような枠５０，５１で測定対象の魚が囲まれることにより、測定対象の魚が指定されるように設定されている。枠５０，５１は、例えば長方形状（正方形を含む）と成し、その大きさおよび縦横比が観測者により可変可能となっている。枠５０，５１は、検知部３０が撮影画像に行う検知処理の対象となる調査範囲である。検知部３０は、観測者により設定された撮影画像４１Ａ，４１Ｂにおける枠５０，５１の位置情報を受け付ける機能を備えている。なお、観測者が枠５０，５１によって測定対象の魚を指定する作業を実行している場合には、撮影画像４１Ａ，４１Ｂは一時停止状態で静止している状態となっている。 The detection unit 30 has a function of prompting the observer to input information for designating the fish to be measured in the captured images 41A and 41B displayed (reproduced) on the display device 26. For example, the detection unit 30 uses the display control unit 34 to “designate (select) the fish to be measured” on the display device 26 on which the captured images 41A and 41B are displayed as shown in FIG. Display a message to that effect. In the first embodiment, when the observer operates the input device 25, the fish to be measured is surrounded by the frames 50 and 51 as shown in FIG. 5 in the captured images 41A and 41B, respectively. It is set so that the fish to be measured is specified. The frames 50 and 51 have, for example, a rectangular shape (including a square), and the size and aspect ratio thereof can be changed by the observer. The frames 50 and 51 are investigation ranges that are the targets of the detection process performed on the captured image by the detection unit 30. The detection unit 30 has a function of receiving the position information of the frames 50 and 51 in the captured images 41A and 41B set by the observer. When the observer is executing the work of designating the fish to be measured by the frames 50 and 51, the captured images 41A and 41B are in a paused state and stationary.

なお、撮影画像４１Ａ，４１Ｂのうちの一方側を表示する画面領域（例えば図４、図５における左側の画面領域）が操作画面として設定され、他方側を表示する画面領域（例えば図４、図５における右側の画面領域）が参照画面として設定されていてもよい。また、検知部３０は、カメラ４０Ａ，４０Ｂ間の間隔を表す間隔情報に基づき、撮影画像４１Ｂにおいて枠５０により指定されている領域と同じ領域を表す参照画面の撮影画像４１Ａでの枠５１の表示位置を算出する機能を備えていてもよい。この場合、検知部３０は、撮影画像４１Ｂにおいて枠５０の位置や大きさが調整されている最中に、その位置や大きさに追従して撮影画像４１Ａにおける枠５１の位置や大きさを可変する機能を備えていてもよい。あるいは、検知部３０は、撮影画像４１Ｂにおいて枠５０の位置および大きさが確定した後に、枠５１を撮影画像４１Ａに表示させる機能を備えていてもよい。さらにまた、検知部３０は、枠５０の位置や大きさの調整に追従して枠５１の位置や大きさを可変する機能と、枠５０の位置および大きさが確定した後に枠５１を表示させる機能とを共に備え、例えば観測者により択一的に選択された側の機能を実行してもよい。また、上記のような撮影画像４１Ｂにおいて指定された枠５０に基づいて撮影画像４１Ａにおける枠５１を設定する機能は、検知部３０に代えて、図１の点線に表されるような範囲追従部３５が実行してもよい。 A screen area for displaying one side of the captured images 41A and 41B (for example, the screen area on the left side in FIGS. 4 and 5) is set as an operation screen, and a screen area for displaying the other side (for example, FIGS. 4 and 5) is set. The screen area on the right side in 5) may be set as a reference screen. Further, the detection unit 30 displays the frame 51 in the captured image 41A of the reference screen representing the same area as the region designated by the frame 50 in the captured image 41B based on the interval information representing the interval between the cameras 40A and 40B. It may have a function of calculating a position. In this case, the detection unit 30 changes the position and size of the frame 51 in the captured image 41A according to the position and size while the position and size of the frame 50 in the captured image 41B are being adjusted. It may have a function to do. Alternatively, the detection unit 30 may have a function of displaying the frame 51 on the captured image 41A after the position and size of the frame 50 are determined in the captured image 41B. Furthermore, the detection unit 30 has a function of changing the position and size of the frame 51 according to the adjustment of the position and size of the frame 50, and displays the frame 51 after the position and size of the frame 50 are determined. It may have both functions and, for example, execute the function of the side selectively selected by the observer. Further, the function of setting the frame 51 in the captured image 41A based on the frame 50 designated in the captured image 41B as described above is a range tracking unit as shown by the dotted line in FIG. 1 instead of the detection unit 30. 35 may be executed.

検知部３０は、さらに、撮影画像４１Ａ，４１Ｂにおいて調査範囲として指定された枠５０，５１内で、測定対象の魚における予め定められた特徴を持つ対を成す特徴部位を検知する機能を備えている。第１実施形態では、魚の頭と尾が対を成す特徴部位として設定されている。撮影画像４１Ａ，４１Ｂから特徴部位である魚の頭と尾を検知する手法には様々な手法があり、ここでは、情報処理装置２０の処理能力等を考慮した適宜な手法が採用されるが、その一例を挙げると、次のような手法がある。 The detection unit 30 further has a function of detecting a pair of characteristic parts having predetermined characteristics in the fish to be measured within the frames 50 and 51 designated as the investigation range in the captured images 41A and 41B. There is. In the first embodiment, the head and tail of the fish are set as a paired characteristic portion. There are various methods for detecting the head and tail of the fish, which are characteristic parts, from the captured images 41A and 41B. Here, an appropriate method considering the processing capacity of the information processing device 20 and the like is adopted. For example, there are the following methods.

例えば、測定対象となる種類の魚の頭と尾について、魚の向きや形が異なる図６に表されるような複数の参考データが記憶装置２３に格納されている。これら参考データは、特徴部位である魚の頭と尾のサンプル画像が表されている参考部位画像である。当該参考データは、測定対象となる種類の魚が撮影されている多数の撮影画像から、頭と尾のそれぞれの特徴部位が撮影されている領域の画像が教師データ（教師画像）として抽出され、当該教師データを利用した機械学習により作成される。 For example, with respect to the head and tail of the type of fish to be measured, a plurality of reference data shown in FIG. 6 having different directions and shapes of the fish are stored in the storage device 23. These reference data are reference site images showing sample images of the head and tail of the fish, which are characteristic sites. For the reference data, the image of the area where each characteristic part of the head and the tail is photographed is extracted as teacher data (teacher image) from a large number of captured images in which the type of fish to be measured is photographed. It is created by machine learning using the teacher data.

第１実施形態の情報処理装置２０は、魚の頭と尾との間の長さを魚の長さとして測定する。このことから、魚の頭と尾は、魚の長さを測定する際に測定部分の両端となる部位である。このことを考慮し、ここでは、魚の長さを測定する際に魚の測定部分の両端となる頭と尾のそれぞれの測定ポイントが中心となるように抽出された教師データを利用した機械学習により参考データが作成される。これにより、図６に表されるように、参考データの中心は、魚の頭あるいは尾の測定ポイントＰを表すという意味を持つ。 The information processing device 20 of the first embodiment measures the length between the head and the tail of the fish as the length of the fish. From this, the head and tail of the fish are the parts that are both ends of the measurement part when measuring the length of the fish. In consideration of this, here, when measuring the length of the fish, it is referred to by machine learning using the teacher data extracted so that the measurement points of the head and the tail, which are both ends of the measurement part of the fish, are the center. The data is created. Thus, as shown in FIG. 6, the center of the reference data has the meaning of representing the measurement point P of the head or tail of the fish.

これに対し、測定ポイントＰを考慮せずに、図７に表されるように単に頭と尾が撮影されている領域が教師データとして抽出され、当該教師データに基づいて参考データが作成された場合には、参考データの中心は測定ポイントＰを表すとは限らない。つまり、この場合には、参考データの中心位置は、測定ポイントＰを表すという意味を持たない。 On the other hand, without considering the measurement point P, the area where the head and tail were simply photographed was extracted as teacher data as shown in FIG. 7, and reference data was created based on the teacher data. In this case, the center of the reference data does not always represent the measurement point P. That is, in this case, the center position of the reference data does not mean that it represents the measurement point P.

上述したような参考データと、撮影画像４１Ａ，４１Ｂにおいて指定された調査範囲（枠５０，５１）内の画像とが照合されることにより、枠５０，５１において参考データに合う画像領域が検知される。 By collating the reference data as described above with the images within the survey range (frames 50 and 51) specified in the captured images 41A and 41B, an image area matching the reference data is detected in the frames 50 and 51. To.

検知部３０は、さらに、表示制御部３４を利用して、検知した特徴部位である魚の頭と尾の位置を表示装置２６に明示させる機能を備えている。図８には、表示装置２６において、検知された魚の頭と尾のそれぞれの部位が枠５２，５３により明示されている表示例が表されている。 The detection unit 30 further has a function of using the display control unit 34 to make the display device 26 clearly indicate the positions of the head and tail of the fish, which are the detected characteristic parts. FIG. 8 shows a display example in which the detected fish head and tail parts are clearly indicated by frames 52 and 53 in the display device 26.

特定部３１は、検知部３０により検知された測定対象の魚における対を成す特徴部位（つまり、頭と尾）の座標空間における位置を表す座標を特定する機能を備えている。例えば、特定部３１は、検知部３０により検知された測定対象の魚の頭と尾が撮影画像４１Ａ，４１Ｂにおいて表示されている表示位置を表す表示位置情報を検知部３０から受け取る。また、特定部３１は、記憶装置２３から、カメラ４０Ａ，４０Ｂ（つまり、撮影位置）間の間隔を表す間隔情報を読み出す。そして、特定部３１は、それら情報を利用して、三角測量法によって測定対象の魚の頭と尾の座標空間における座標を特定（算出）する。この際、中心が測定ポイントＰとなっている参考データを利用して、検知部３０が特徴部位を検知している場合には、特定部３１は、検知部３０により検知された特徴部位の中心が表示されている撮影画像４１Ａ，４１Ｂの表示位置情報を利用する。 The identification unit 31 has a function of specifying coordinates representing the positions of paired feature portions (that is, head and tail) in the fish to be measured detected by the detection unit 30 in the coordinate space. For example, the specific unit 31 receives from the detection unit 30 display position information indicating the display position where the head and tail of the fish to be measured detected by the detection unit 30 are displayed in the captured images 41A and 41B. Further, the identification unit 31 reads out interval information representing the interval between the cameras 40A and 40B (that is, the shooting position) from the storage device 23. Then, the specifying unit 31 uses the information to specify (calculate) the coordinates of the head and tail of the fish to be measured in the coordinate space by the triangulation method. At this time, when the detection unit 30 detects the feature portion by using the reference data whose center is the measurement point P, the specific unit 31 is the center of the feature portion detected by the detection unit 30. The display position information of the captured images 41A and 41B in which is displayed is used.

算出部３２は、特定部３１により特定された測定対象の魚の特徴部位（頭と尾）の空間座標を利用して、対を成す特徴部位（頭と尾）間の図９に表されるような間隔Ｌを測定対象の魚の長さとして算出する機能を備えている。この第１実施形態では、算出部３２は、このように算出部３２により算出された魚の長さＬは、例えば観測日時等の予め定められた情報に関連付けられた状態で記憶装置２３に格納される。 The calculation unit 32 uses the spatial coordinates of the characteristic parts (head and tail) of the fish to be measured specified by the specific unit 31 as shown in FIG. 9 between the paired characteristic parts (head and tail). It has a function to calculate the interval L as the length of the fish to be measured. In the first embodiment, the calculation unit 32 stores the fish length L calculated by the calculation unit 32 in the storage device 23 in a state associated with predetermined information such as, for example, the observation date and time. To.

ところで、測定対象の魚の周囲状況などの原因により、次のような事態が発生してしまうことが懸念される。懸念事項の一つは、図１０Ａに表されるように、測定対象の魚Ｍ１の頭は検知部３０により特徴部位Ｈとして検知されたが、尾は他の魚Ｍ３，Ｍ４との重なり等に因り検知されず、他の魚Ｍ２の尾が検知部３０により特徴部位Ｔとして検知されてしまうことがある。この場合には、誤った特徴部位Ｈ，Ｔの対（組み合わせ）が検知されてしまうので、算出部３２は、測定対象の魚Ｍ１の長さを正確に算出することができない。 By the way, there is a concern that the following situations may occur due to the surrounding conditions of the fish to be measured. One of the concerns is that, as shown in FIG. 10A, the head of the fish M1 to be measured was detected as the characteristic part H by the detection unit 30, but the tail overlapped with other fish M3 and M4. Therefore, the tail of another fish M2 may be detected as the feature portion T by the detection unit 30 without being detected. In this case, since an erroneous pair (combination) of the characteristic portions H and T is detected, the calculation unit 32 cannot accurately calculate the length of the fish M1 to be measured.

また、別の懸念事項の一つは、図１０Ｂに表されるように、検知部３０が、測定対象の魚Ｍ１の頭と尾をそれぞれ特徴部位Ｈ，Ｔとして検知するだけでなく、他の魚Ｍ３，Ｍ４の頭や尾をも特徴部位Ｈ，Ｔとして検知してしまうことがある。この場合には、検知部３０は、測定対象の魚における正しい対を成す特徴部位（頭と尾の組み合わせ）Ｈ，Ｔだけでなく、誤った特徴部位Ｈ，Ｔの対（組み合わせ）をも検知してしまう。この場合には、算出部３２は、特徴部位Ｈ，Ｔの複数の対が検知される不都合に因り、魚の長さＬを算出しない、あるいは、魚の長さＬを複数算出してしまい測定対象の魚Ｍ１の正しい長さを認識することが難しいという問題が発生してしまう。 Further, one of the other concerns is that, as shown in FIG. 10B, the detection unit 30 not only detects the head and tail of the fish M1 to be measured as the feature portions H and T, respectively, but also other concerns. The heads and tails of fish M3 and M4 may also be detected as characteristic parts H and T. In this case, the detection unit 30 detects not only the correct pair of characteristic parts (head and tail combination) H and T in the fish to be measured, but also the wrong pair of characteristic parts H and T (combination). Resulting in. In this case, the calculation unit 32 does not calculate the fish length L or calculates a plurality of fish lengths L due to the inconvenience of detecting a plurality of pairs of characteristic parts H and T, and the measurement target. The problem arises that it is difficult to recognize the correct length of the fish M1.

算出部３２は、図１０Ａや図１０Ｂに表されるような事態が発生しても、測定対象の魚の誤った長さを算出してしまう事態の発生を抑制する機能を備えている。なお、図１０Ａや図１０Ｂに表されるような事態は、例えば、調査範囲の大きさを測定対象の魚の大きさ程度の大きさに調整するなどの工夫により、発生頻度を低く抑えることが可能であると思われる。ただ、その場合には、測定対象の魚ごとに、例えば観測者（測定者）が調査範囲の大きさを調整するというような手間が掛かる。ここでは、そのような手間の軽減および誤算出の低下を図る手法を提案する。 The calculation unit 32 has a function of suppressing the occurrence of a situation in which an erroneous length of the fish to be measured is calculated even if a situation as shown in FIGS. 10A or 10B occurs. The situation shown in FIGS. 10A and 10B can be kept low in frequency by, for example, adjusting the size of the survey range to the size of the fish to be measured. Seems to be. However, in that case, it takes time and effort for the observer (measurer) to adjust the size of the survey range for each fish to be measured. Here, we propose a method to reduce such labor and miscalculation.

すなわち、算出部３２は、検知部３０により対として検知された特徴部位（頭と尾）の組み合わせが正しいか否かを魚の傾きを利用して次のように判断する機能を備えている。 That is, the calculation unit 32 has a function of determining whether or not the combination of the characteristic parts (head and tail) detected as a pair by the detection unit 30 is correct by using the inclination of the fish as follows.

算出部３２は、対として検知された特徴部位（頭と尾）間を結ぶ図１１Ａに表されるような仮想線分を特定部３１により得られた座標を利用して傾き調査線Ｋとして生成（検知）する。なお、調査範囲内に、対と成り得る特徴部位（頭と尾）の組み合わせが複数有る場合には、算出部３２は、対と成り得る特徴部位（頭と尾）の組み合わせ毎に、傾き調査線を生成する。例えば、図１０Ｂのように、調査範囲内に対と成り得る特徴部位（頭と尾）の組み合わせが複数有る場合には、算出部３２は、図１１Ｂのように複数の傾き調査線Ｋ１〜Ｋ４を生成する。 The calculation unit 32 generates a virtual line segment as shown in FIG. 11A connecting the feature parts (head and tail) detected as a pair as a slope survey line K by using the coordinates obtained by the specific unit 31. (Detect). When there are a plurality of combinations of characteristic parts (head and tail) that can be paired within the survey range, the calculation unit 32 performs a tilt survey for each combination of characteristic parts (head and tail) that can be paired. Generate a line. For example, when there are a plurality of combinations of characteristic parts (head and tail) that can be paired within the survey range as shown in FIG. 10B, the calculation unit 32 may perform a plurality of tilt survey lines K1 to K4 as shown in FIG. 11B. To generate.

第１実施形態では、撮影画像における図１１Ａに表されるような仮想基準線（図１１Ａの例では、撮影画像の横線）Ｓに対する魚の傾きが図１２のように定義されている。つまり、魚の傾きは、大概に右向きと左向きに大別され、さらに、魚の尾側を基準とし当該尾側から頭に向かう方向が仮想基準線Ｓに対して成す角度によって表される。 In the first embodiment, the inclination of the fish with respect to the virtual reference line (horizontal line of the captured image in the example of FIG. 11A) S as shown in FIG. 11A in the captured image is defined as shown in FIG. That is, the inclination of the fish is roughly classified into a right direction and a left direction, and further, the direction from the caudal side to the head of the fish is represented by an angle formed with respect to the virtual reference line S.

また、図１３Ａや図１３Ｂのような特徴部位の参考画像と魚の傾きの参考角度との関係データ（角度参考データ）が傾き角度検知用データとして予め記憶装置２３に記憶される。第１実施形態では、頭と尾のそれぞれの特徴部位の参考画像は６つのクラスに分けられ、傾き角度検知用データでは、各クラスの参考画像に参考角度が関連付けられている。つまり、頭と尾のそれぞれの特徴部位の参考画像は、右向きの０°，４５°，-４５°と、左向きの０°，４５°，-４５°との６つのクラスに分類されている。なお、図１２、図１３Ａ、図１３Ｂの例では、魚の傾き角度は左向きと右向きのそれぞれに分けて表す角度となっているが、左向きと右向きに分けない角度（例えば、０°，４５°，１３５°，１８０°，２２５°，３１５°）で表してもよい。 Further, the relationship data (angle reference data) between the reference image of the characteristic portion as shown in FIGS. 13A and 13B and the reference angle of the inclination of the fish is stored in the storage device 23 in advance as the inclination angle detection data. In the first embodiment, the reference images of the characteristic parts of the head and the tail are divided into six classes, and in the tilt angle detection data, the reference angles are associated with the reference images of each class. That is, the reference images of the characteristic parts of the head and the tail are classified into six classes of 0 °, 45 °, and -45 ° pointing to the right and 0 °, 45 °, and -45 ° facing to the left. In the examples of FIGS. 12, 13A, and 13B, the inclination angle of the fish is divided into leftward and rightward, but the angle is not divided into leftward and rightward (for example, 0 °, 45 °, It may be expressed as 135 °, 180 °, 225 °, 315 °).

図１３Ａや図１３Ｂのような特徴部位の画像と魚の傾き角度との関係データは、例えば、生簀４８における測定対象の魚を撮影した撮影画像である多数の教師データ（教師画像）を利用した機械学習により生成される。 The relationship data between the image of the characteristic portion as shown in FIGS. 13A and 13B and the inclination angle of the fish is, for example, a machine using a large number of teacher data (teacher images) which are captured images of the fish to be measured in the cage 48. Generated by learning.

算出部３２は、検知部３０により検知された撮影画像における特徴部位の画像を図１３Ａや図１３Ｂのような傾き角度検知用データに照合し、特徴部位に合致する参考角度を検知する。例えば、図１１Ａの例では、撮影画像における頭の特徴部位Ｈの画像に合致する参考角度が傾き角度検知用データから左向き角度-４５°（２２５°）であると検知される。換言すれば、頭の特徴部位Ｈの画像を持つ魚の傾きは、左向き-４５°（２２５°）であると推定される。また同様に、撮影画像における尾の特徴部位Ｔの画像に合致する参考角度が傾き角度検知用データから左向き角度０°（１８０°）であると検知される。換言すれば、尾の特徴部位Ｔの画像を持つ魚の傾きは、左向き０°（１８０°）であると推定される。 The calculation unit 32 collates the image of the feature portion in the captured image detected by the detection unit 30 with the tilt angle detection data as shown in FIGS. 13A and 13B, and detects a reference angle matching the feature portion. For example, in the example of FIG. 11A, it is detected from the tilt angle detection data that the reference angle matching the image of the characteristic portion H of the head in the captured image is a leftward angle −45 ° (225 °). In other words, the inclination of the fish with the image of the featured portion H of the head is estimated to be -45 ° (225 °) to the left. Similarly, it is detected from the tilt angle detection data that the reference angle matching the image of the characteristic portion T of the tail in the captured image is a leftward angle of 0 ° (180 °). In other words, the inclination of the fish with the image of the featured portion T of the tail is estimated to be 0 ° (180 °) to the left.

また、算出部３２は、仮想基準線Ｓと傾き調査線Ｋとの成す角度を検知する。ここでは、魚の傾きは、魚の尾側を基準とした傾きであることから、算出部３２は、図１１Ａのように、検知部３０により検知された魚の尾の特徴部位Ｔを交点とした仮想基準線Ｓと傾き調査線Ｋとの成す角度θｔを特定部３１により得られた座標を利用して算出する。さらに、算出部３２は、角度θｔを、傾き角度検知用データから検知された頭の参考角度と尾の参考角度のそれぞれに対比し、角度θｔが参考角度であるか、あるいは、参考角度を含む参考角度許容範囲内（例えば、参考角度±１５°）であるか否かを判断する。換言すれば、算出部３２は、角度θｔが測定対象の魚の傾き角度に応じた角度であるか否かを判断する。 Further, the calculation unit 32 detects the angle formed by the virtual reference line S and the inclination survey line K. Here, since the inclination of the fish is the inclination with respect to the tail side of the fish, the calculation unit 32 uses the virtual reference with the characteristic portion T of the fish tail detected by the detection unit 30 as the intersection, as shown in FIG. 11A. The angle θt formed by the line S and the slope survey line K is calculated using the coordinates obtained by the specific unit 31. Further, the calculation unit 32 compares the angle θt with each of the reference angle of the head and the reference angle of the tail detected from the tilt angle detection data, and the angle θt is the reference angle or includes the reference angle. It is determined whether or not the reference angle is within the allowable range (for example, the reference angle ± 15 °). In other words, the calculation unit 32 determines whether or not the angle θt is an angle corresponding to the inclination angle of the fish to be measured.

そして、算出部３２は、角度θｔが頭の参考角度（参考角度許容範囲内）であり、かつ、角度θｔが尾の参考角度（参考角度許容範囲内）である場合に、特徴部位Ｈ，Ｔの組み合わせは測定対象の魚における正しい頭と尾の組み合わせであると判断する。この場合には、算出部３２は、前述したように、特定部３１により特定された測定対象の魚の特徴部位（頭と尾）の空間座標を利用して、対を成す特徴部位（頭と尾）の中心部間の間隔を測定対象の魚の長さＬとして算出する。 Then, in the calculation unit 32, when the angle θt is the reference angle of the head (within the allowable range of the reference angle) and the angle θt is the reference angle of the tail (within the allowable range of the reference angle), the feature portions H, T It is judged that the combination of is the correct head-tail combination in the fish to be measured. In this case, as described above, the calculation unit 32 uses the spatial coordinates of the characteristic parts (head and tail) of the fish to be measured specified by the specific unit 31 to form a pair of characteristic parts (head and tail). ) Is calculated as the length L of the fish to be measured.

これに対し、角度θｔが頭と尾の一方又は両方の参考角度（参考角度許容範囲内）でない場合には、算出部３２は、特徴部位Ｈ，Ｔの組み合わせは測定対象の魚における正しい頭と尾の組み合わせでないと判断する。この場合には、算出部３２は、魚の長さＬを算出する演算を行わない。図１１Ａの例では、角度θｔは左向き-５０°（２３０°）であり、尾の特徴部位Ｔに対応する参考角度である左向き角度０°（１８０°）と合致しない。つまり、この場合には、算出部３２は、特徴部位Ｈ，Ｔの組み合わせは測定対象の魚における正しい頭と尾の組み合わせでないと判断し、魚の長さＬを算出する演算を行わない。 On the other hand, when the angle θt is not the reference angle of one or both of the head and the tail (within the allowable reference angle range), the calculation unit 32 determines that the combination of the characteristic parts H and T is the correct head in the fish to be measured. Judge that it is not a combination of tails. In this case, the calculation unit 32 does not perform the calculation of calculating the length L of the fish. In the example of FIG. 11A, the angle θt is −50 ° (230 °) to the left, which does not match the leftward angle of 0 ° (180 °), which is a reference angle corresponding to the characteristic portion T of the tail. That is, in this case, the calculation unit 32 determines that the combination of the characteristic portions H and T is not the correct combination of the head and the tail in the fish to be measured, and does not perform the calculation for calculating the length L of the fish.

なお、測定対象の魚の長さＬを算出しない場合には、例えば、算出部３２は、表示装置２６に、計算できない旨のメッセージを表示制御部３４の制御動作によって表示させてもよい。 When the length L of the fish to be measured is not calculated, for example, the calculation unit 32 may display a message to the effect that the calculation cannot be performed on the display device 26 by the control operation of the display control unit 34.

また、算出部３２は、図１１Ｂのように、撮影画像における調査範囲内に複数の傾き調査線Ｋ１〜Ｋ４を検知した場合には、上記同様に、仮想基準線Ｓに対する傾き調査線Ｋ１〜Ｋ４の角度θt1〜θt4を特定部３１により得られた座標を利用して算出する。一方、算出部３２は、各特徴部位Ｔ，Ｈの画像に基づいて傾き角度検知用データから頭と尾の参考角度を検知する。図１４は、傾き調査線Ｋ１〜Ｋ４の角度θt1〜θt4および頭と尾の参考角度を表す表である。 Further, when the calculation unit 32 detects a plurality of inclination investigation lines K1 to K4 within the investigation range in the captured image as shown in FIG. 11B, the inclination investigation lines K1 to K4 with respect to the virtual reference line S are similarly described above. Angles θt1 to θt4 are calculated using the coordinates obtained by the specific unit 31. On the other hand, the calculation unit 32 detects the reference angle of the head and the tail from the tilt angle detection data based on the images of the feature portions T and H. FIG. 14 is a table showing the angles θt1 to θt4 of the inclination survey lines K1 to K4 and the reference angles of the head and the tail.

算出部３２は、図１４のように検知された角度θt1〜θt4を、それぞれ、対応する頭と尾の参考角度であるか、あるいは、参考角度を含む参考角度許容範囲内であるか否かを判断する。そして、頭と尾の両方の特徴部位Ｈ，Ｔの参考角度（参考角度許容範囲内）と同じ角度を持つ傾き調査線（線分）を検知した場合に、算出部３２は、その傾き調査線（線分）の基となった頭と尾の特徴部位Ｈ，Ｔが測定対象の魚の正しい組み合わせであると判断する。図１４の例では、傾き調査線Ｋ２の基となった頭と尾の特徴部位Ｈ，Ｔの両方の参考角度と傾き調査線Ｋ２の角度θt2とが合致している。これにより、算出部３２は、傾き調査線Ｋ２の基となった頭と尾の特徴部位Ｈ，Ｔが測定対象の魚における正しい組み合わせであると判断する。そして、算出部３２は、特定部３１により特定された測定対象の魚の特徴部位（頭と尾）の空間座標を利用して、対を成す特徴部位（頭と尾）間の間隔を測定対象の魚の長さＬとして算出する。 The calculation unit 32 determines whether or not the angles θt1 to θt4 detected as shown in FIG. 14 are the corresponding reference angles of the head and tail, or are within the reference angle allowable range including the reference angles. to decide. Then, when a tilt survey line (line segment) having the same angle as the reference angle (within the reference angle allowable range) of the feature portions H and T of both the head and the tail is detected, the calculation unit 32 detects the tilt survey line. It is judged that the characteristic parts H and T of the head and tail, which are the basis of (line segment), are the correct combination of the fish to be measured. In the example of FIG. 14, the reference angles of both the head and tail feature portions H and T, which are the basis of the inclination investigation line K2, and the angle θt2 of the inclination investigation line K2 match. As a result, the calculation unit 32 determines that the characteristic portions H and T of the head and tail, which are the basis of the inclination survey line K2, are the correct combination in the fish to be measured. Then, the calculation unit 32 uses the spatial coordinates of the characteristic parts (head and tail) of the fish to be measured specified by the specific unit 31 to measure the distance between the paired characteristic parts (head and tail). Calculated as the length L of the fish.

これに対し、算出部３２は、複数の傾き調査線の角度と、頭と尾の参考角度との対比により、正しい頭と尾の特徴部位Ｈ，Ｔの組み合わせが検知されなかった場合には、前記同様に、魚の長さＬを算出する演算を行わない。この場合には、前述したように、算出部３２は、表示装置２６に、計算できない旨のメッセージを表示制御部３４の制御動作によって表示させてもよい。 On the other hand, when the calculation unit 32 does not detect the correct combination of the characteristic parts H and T of the head and the tail by comparing the angles of the plurality of inclination survey lines with the reference angles of the head and the tail, the calculation unit 32 determines. Similarly, the calculation for calculating the length L of the fish is not performed. In this case, as described above, the calculation unit 32 may cause the display device 26 to display a message indicating that the calculation cannot be performed by the control operation of the display control unit 34.

なお、図１４に表されるような傾き調査線の傾き（算出結果）と頭の参考角度と尾の参考角度との比較結果を例えば図１１Ａ、図１１Ｂのような算出方法を表す画像と共に、表示装置２６に表示させる構成が情報処理装置２０に備えられていてもよい。 It should be noted that the comparison result of the inclination (calculation result) of the inclination survey line as shown in FIG. 14 and the reference angle of the head and the reference angle of the tail is shown together with images showing the calculation method as shown in FIGS. 11A and 11B, for example. The information processing device 20 may be provided with a configuration for displaying on the display device 26.

さらに、算出部３２が、正しい組み合わせであるとして頭と尾の対を成す特徴部位を複数検知することが考えられる場合には、その場合を考慮した機能を備えていてもよい。例えば、算出部３２は、正しい組み合わせであるとして頭と尾の対を成す特徴部位を複数検知した場合には、それら正しい組み合わせである頭と尾の対を成す特徴部位間の間隔Ｌをそれぞれ測定対象の魚の長さであるとして算出する。あるいは、算出部３２は、正しい組み合わせであるとして頭と尾の対を成す特徴部位を複数検知した場合には、特定部３１による特徴部位の座標を利用して最もカメラに近い対を成す特徴部位間の間隔を測定対象の魚の長さＬとして算出してもよい。 Further, when it is conceivable that the calculation unit 32 detects a plurality of feature portions forming a pair of head and tail as the correct combination, it may be provided with a function in consideration of such a case. For example, when the calculation unit 32 detects a plurality of characteristic parts forming a head-tail pair as the correct combination, the calculation unit 32 measures the distance L between the characteristic parts forming the head-tail pair, which is the correct combination. Calculated as the length of the target fish. Alternatively, when the calculation unit 32 detects a plurality of feature parts that form a pair of head and tail as the correct combination, the calculation unit 32 uses the coordinates of the feature parts by the specific unit 31 to form a pair of feature parts that are closest to the camera. The interval between them may be calculated as the length L of the fish to be measured.

分析部３３は、記憶装置２３に格納されている魚の長さＬの複数の情報と当該情報に関連付けられている情報を利用して、予め定められた分析を実行する機能を備えている。例えば、分析部３３は、観測日における生簀４８内の複数の魚の長さＬの平均値あるいは検知対象とした魚の長さＬの平均値を算出する。なお、検知対象とした魚の長さＬの平均値を算出する場合の一例としては、１秒間というような短時間に撮影された動画の複数フレームにおける検知対象の魚の画像により算出された検知対象の魚の複数の長さＬが利用される。また、生簀４８内の複数の魚の長さＬの平均値を算出する場合であって魚の個体識別をしていない場合には、平均値の算出に利用する魚の長さＬの値として同じ魚の値が重複利用されることが懸念される。ただ、千尾以上というような多数の魚の長さＬの平均値を算出する場合には、値を重複利用することに因る平均値の算出精度への悪影響は小さくなる。 The analysis unit 33 has a function of executing a predetermined analysis by using a plurality of information of the fish length L stored in the storage device 23 and the information associated with the information. For example, the analysis unit 33 calculates the average value of the length L of a plurality of fish in the cage 48 on the observation day or the average value of the length L of the fish to be detected. As an example of calculating the average value of the length L of the fish to be detected, the detection target calculated from the image of the fish to be detected in a plurality of frames of the moving image taken in a short time such as 1 second. Multiple lengths L of fish are utilized. In addition, when calculating the average value of the length L of a plurality of fish in the cage 48 and not identifying the individual fish, the value of the same fish as the value of the length L of the fish used for calculating the average value. Is a concern for duplicate use. However, when calculating the average value of the length L of a large number of fish such as 1,000 fish or more, the adverse effect on the calculation accuracy of the average value due to the duplicate use of the values becomes small.

また、分析部３３は、生簀４８内における魚の長さＬとその魚の数との関係 (魚の長さにおける魚体数分布)を算出してもよい。さらに、分析部３３は、魚の成長を表す魚の長さＬの時間的な推移を算出してもよい。 Further, the analysis unit 33 may calculate the relationship between the length L of the fish in the cage 48 and the number of the fish (distribution of the number of fish in the length of the fish). Further, the analysis unit 33 may calculate the temporal transition of the length L of the fish, which represents the growth of the fish.

次に、情報処理装置２０における魚の長さＬの算出（測定）動作の一例を図１５を参照しつつ説明する。なお、図１５は、情報処理装置２０が実行する魚の長さＬの算出（測定）に関わる処理手順を表すフローチャートである。 Next, an example of the calculation (measurement) operation of the fish length L in the information processing apparatus 20 will be described with reference to FIG. Note that FIG. 15 is a flowchart showing a processing procedure related to the calculation (measurement) of the fish length L executed by the information processing apparatus 20.

例えば、情報処理装置２０の検知部３０は、操作画面における撮影画像４１Ｂにおいての調査範囲（枠５０，５１）を指定する情報を受け付けると（ステップＳ１０１）、参照画面における撮影画像４１Ａ，４１Ｂの調査範囲（枠５０，５１）の位置を算出する。そして、検知部３０は、撮影画像４１Ａ，４１Ｂの枠５０，５１内において、予め定められた特徴部位（頭と尾）を例えば参考データを利用して検知する（ステップＳ１０２）。 For example, when the detection unit 30 of the information processing device 20 receives the information for designating the investigation range (frames 50 and 51) in the captured images 41B on the operation screen (step S101), the detection unit 30 investigates the captured images 41A and 41B on the reference screen. The position of the range (frames 50 and 51) is calculated. Then, the detection unit 30 detects predetermined feature portions (head and tail) in the frames 50 and 51 of the captured images 41A and 41B by using reference data, for example (step S102).

その後、特定部３１が、検知された頭と尾の特徴部位について、例えば、カメラ４０Ａ，４０Ｂ（撮影位置）間についての間隔情報等を利用し、三角測量法によって座標空間における座標を特定する（ステップＳ１０３）。 After that, the specific unit 31 specifies the coordinates in the coordinate space of the detected characteristic parts of the head and tail by, for example, using the interval information between the cameras 40A and 40B (shooting position) by the triangulation method (triangulation method). Step S103).

そして、算出部３２が、検知部３０により対として検知された頭と尾の特徴部位の組み合わせの正誤について、前述したような仮想基準線Ｓに対する傾き調査線（線分）の成す角度と、参考角度（参考角度許容範囲）とを利用して、確認する（ステップＳ１０４）。これにより、算出部３２が、正しい頭と尾の特徴部位の組み合わせを検知する。対として成り得る頭と尾の特徴部位の複数の組み合わせが検知された場合にも、前述したように、算出部３２が、仮想基準線Ｓに対する傾き調査線（線分）の成す角度と、参考角度（参考角度許容範囲）とを利用して、正しい頭と尾の特徴部位の組み合わせを検知する。 Then, the calculation unit 32 refers to the angle formed by the inclination survey line (line segment) with respect to the virtual reference line S as described above with respect to the correctness of the combination of the characteristic parts of the head and the tail detected as a pair by the detection unit 30. Confirmation is performed using the angle (reference angle allowable range) (step S104). As a result, the calculation unit 32 detects the correct combination of the characteristic portion of the head and the tail. Even when a plurality of combinations of head and tail feature parts that can be paired are detected, as described above, the calculation unit 32 uses the angle formed by the inclination survey line (line segment) with respect to the virtual reference line S as a reference. The correct combination of head and tail feature parts is detected using the angle (reference angle tolerance).

そして、算出部３２が、検知部３０によって正しいと検知された対を成す特徴部位（頭と尾）間の間隔Ｌを特定部３１により特定された座標を利用し魚の長さとして算出する（ステップＳ１０５）。その後、算出部３２は、算出結果を予め定められた情報（例えば、撮影日時）に関連付けた状態で記憶装置２３に格納する（ステップＳ１０６）。 Then, the calculation unit 32 calculates the distance L between the paired feature portions (head and tail) detected by the detection unit 30 as the length of the fish using the coordinates specified by the specific unit 31 (step). S105). After that, the calculation unit 32 stores the calculation result in the storage device 23 in a state of being associated with predetermined information (for example, the shooting date and time) (step S106).

さらに、情報処理装置２０の制御装置２２は、例えば観測者による入力装置２５の操作により魚の長さＬの測定を終了する旨の指示が入力されたか否かを判断する（ステップＳ１０７）。そして、制御装置２２は、終了の指示が入力されていない場合には、次の魚の長さＬの測定に備えて待機する。また、制御装置２２は、終了の指示が入力された場合には、魚の長さＬを測定する動作を終了する。 Further, the control device 22 of the information processing device 20 determines whether or not an instruction to end the measurement of the fish length L has been input by, for example, an operation of the input device 25 by the observer (step S107). Then, when the end instruction is not input, the control device 22 waits for the next measurement of the fish length L. Further, when the end instruction is input, the control device 22 ends the operation of measuring the length L of the fish.

第１実施形態の情報処理装置２０は、検知部３０によって、カメラ４０Ａ，４０Ｂの撮影画像４１Ａ，４１Ｂにおいて、魚の長さＬの測定に必要な魚の頭と尾の部位を検知する機能を備えている。さらに、情報処理装置２０は、特定部３１によって、検知された魚の頭と尾の位置を表す座標空間における座標を特定する機能を備えている。さらにまた、情報処理装置２０は、算出部３２によって、特定された座標に基づき魚の頭と尾の間隔Ｌを魚の長さとして算出する機能を備えている。このため、撮影画像４１Ａ，４１Ｂにおける調査対象の範囲（枠５０，５１）の情報を観測者が入力装置２５を利用して入力することにより、情報処理装置２０は、魚の長さＬを算出し、当該魚の長さＬの情報を観測者に提供できる。換言すれば、観測者は、撮影画像４１Ａ，４１Ｂにおける調査対象の範囲（枠５０，５１）の情報を情報処理装置２０に入力することで、簡単に魚の長さＬの情報を得ることができる。 The information processing device 20 of the first embodiment has a function of detecting the head and tail parts of the fish necessary for measuring the length L of the fish in the captured images 41A and 41B of the cameras 40A and 40B by the detection unit 30. There is. Further, the information processing device 20 has a function of specifying the coordinates in the coordinate space representing the detected positions of the head and tail of the fish by the identification unit 31. Furthermore, the information processing device 20 has a function of calculating the distance L between the head and the tail of the fish as the length of the fish based on the specified coordinates by the calculation unit 32. Therefore, the information processing device 20 calculates the length L of the fish by inputting the information of the survey target range (frames 50 and 51) in the captured images 41A and 41B by the observer using the input device 25. , Information on the length L of the fish can be provided to the observer. In other words, the observer can easily obtain the information of the fish length L by inputting the information of the survey target range (frames 50 and 51) in the captured images 41A and 41B into the information processing device 20. ..

また、情報処理装置２０は、三角測量法により、魚の対を成す特徴部位（頭と尾）の空間座標を特定（算出）し、当該空間座標を利用して、特徴部位間の長さＬを魚の長さとして算出するので、長さの測定精度を高めることができる。 Further, the information processing apparatus 20 specifies (calculates) the spatial coordinates of the characteristic parts (head and tail) forming a pair of fish by the triangulation method, and uses the spatial coordinates to determine the length L between the characteristic parts. Since it is calculated as the length of the fish, the measurement accuracy of the length can be improved.

さらに、情報処理装置２０が特徴部位を検知する処理にて利用する参考データ（参考部位画像）の中心が、魚の長さを測定する部分の端部となっている場合には、測定する魚によって測定部分の端部位置がばらつくことを抑制できる。これにより、情報処理装置２０は、魚の長さＬの測定に対する信頼性をより高めることができる。 Further, when the center of the reference data (reference part image) used by the information processing apparatus 20 in the process of detecting the characteristic part is the end of the part for measuring the length of the fish, it depends on the fish to be measured. It is possible to prevent the end position of the measurement portion from fluctuating. As a result, the information processing apparatus 20 can further increase the reliability of the measurement of the fish length L.

さらに、情報処理装置２０は、指定された調査範囲（枠５０，５１）内において特徴部位を検知する機能を備えている。このため、情報処理装置２０は、撮影画像全体に亘って特徴部位を検知する場合に比べて、処理の負荷を軽減できる。 Further, the information processing apparatus 20 has a function of detecting a feature portion within a designated survey range (frames 50 and 51). Therefore, the information processing device 20 can reduce the processing load as compared with the case where the feature portion is detected over the entire captured image.

さらに、情報処理装置２０は、複数の撮影画像のうちの一つの画像において、調査範囲（枠５０）が指定されることにより、他の撮影画像の調査範囲（枠５１）を決定する機能を備えていてもよい。この場合には、情報処理装置２０は、複数の撮影画像において観測者が調査範囲を指定する場合に比べて、観測者の手間を軽減できる。 Further, the information processing device 20 has a function of determining a survey range (frame 51) of another captured image by designating a survey range (frame 50) in one of the plurality of captured images. You may be. In this case, the information processing apparatus 20 can reduce the time and effort of the observer as compared with the case where the observer specifies the survey range in a plurality of captured images.

さらに、情報処理装置２０は、算出部３２により、頭と尾の特徴部位の組み合わせが正しいと検知された対を成す特徴部位間の間隔を魚の長さＬとして算出する機能を備えている。このため、情報処理装置２０は、誤った特徴部位の組み合わせに因る魚の長さＬの誤算出を抑制することができる。 Further, the information processing device 20 has a function of calculating the distance between the paired feature parts detected as the correct combination of the head and tail feature parts as the length L of the fish by the calculation unit 32. Therefore, the information processing device 20 can suppress erroneous calculation of the fish length L due to an erroneous combination of characteristic parts.

また、情報処理装置２０は、正しいと検知された頭と尾の特徴部位の対が複数有る場合に、カメラに最も近い対を成す頭と尾の特徴部位間の間隔を魚の長さＬとして算出する機能を備えてもよい。この場合には、情報処理装置２０は、撮影画像において明瞭な画像であると想定される魚の画像に基づいて魚の長さＬを測定するので、魚の長さＬの算出精度を高めることができる。 Further, the information processing device 20 calculates the distance between the head and tail feature parts that form the closest pair to the camera as the fish length L when there are a plurality of pairs of head and tail feature parts that are detected to be correct. It may have a function to process. In this case, since the information processing device 20 measures the fish length L based on the fish image which is assumed to be a clear image in the captured image, the calculation accuracy of the fish length L can be improved.

＜第２実施形態＞
以下に、本発明に係る第２実施形態を説明する。なお、第２実施形態の説明において、第１実施形態の情報処理装置および長さ測定システムを構成する構成部分と同一名称部分には同一符号を付し、その共通部分の重複説明は省略する。<Second Embodiment>
The second embodiment according to the present invention will be described below. In the description of the second embodiment, the same reference numerals are given to the components having the same names as the components constituting the information processing apparatus and the length measurement system of the first embodiment, and duplicate description of the common parts will be omitted.

第２実施形態の情報処理装置２０は、第１実施形態の構成に加えて、図１６に表されるような設定部５５を備えている。なお、情報処理装置２０は、第１実施形態の構成を備えているが、図１６では、特定部３１と算出部３２と分析部３３と表示制御部３４の図示が省略されている。また、図１６において、記憶装置２４と入力装置２５と表示装置２６の図示も省略されている。 The information processing device 20 of the second embodiment includes a setting unit 55 as shown in FIG. 16 in addition to the configuration of the first embodiment. Although the information processing device 20 has the configuration of the first embodiment, the illustration of the specific unit 31, the calculation unit 32, the analysis unit 33, and the display control unit 34 is omitted in FIG. Further, in FIG. 16, the illustration of the storage device 24, the input device 25, and the display device 26 is also omitted.

設定部５５は、撮影画像４１Ａ，４１Ｂにおいて検知部３０が特徴部位（頭と尾）の位置を調べる調査範囲を設定する機能を備えている。その調査範囲は、第１実施形態では、観測者により入力される情報であるのに対し、第２実施形態では、設定部５５が調査範囲を設定するので、観測者は調査範囲の情報を入力しなくて済む。このことにより、第２実施形態の情報処理装置２０は、利便性をより高めることができる。 The setting unit 55 has a function of setting a survey range in which the detection unit 30 examines the positions of the featured portions (head and tail) in the captured images 41A and 41B. In the first embodiment, the survey range is information input by the observer, whereas in the second embodiment, the setting unit 55 sets the survey range, so that the observer inputs the information of the survey range. You don't have to. As a result, the information processing device 20 of the second embodiment can be more convenient.

第２実施形態では、記憶装置２３には、設定部５５が調査範囲を設定するために利用する情報として、調査範囲の形状および大きさを決定する情報が格納されている。例えば、調査範囲の形状および大きさが図１７の実線に示されるような形状および大きさを持つ枠５０，５１である場合には、その形状を表す情報と、枠５０，５１の縦と横の長さの情報とが記憶装置２３に格納される。なお、枠５０，５１は、同じ形状および同じ大きさを持つ。また、枠５０，５１は、例えば観測者が測定に適切であると考えた撮影画像における魚１尾の大きさに応じた大きさを持つ範囲であり、その縦と横のそれぞれの長さは、観測者等による入力装置２５の操作により可変可能となっている。 In the second embodiment, the storage device 23 stores information for determining the shape and size of the survey range as information used by the setting unit 55 for setting the survey range. For example, when the shape and size of the survey range are the frames 50 and 51 having the shape and size as shown by the solid line in FIG. 17, the information indicating the shape and the vertical and horizontal directions of the frames 50 and 51 are provided. Information on the length of is stored in the storage device 23. The frames 50 and 51 have the same shape and the same size. Further, the frames 50 and 51 are ranges having a size corresponding to the size of one fish in the photographed image that the observer considers to be suitable for measurement, and the lengths of the frames 50 and 51 are the respective lengths and widths. , It can be changed by the operation of the input device 25 by an observer or the like.

さらに、記憶装置２３には、測定対象の物体全体（つまり、ここでは魚体）の撮影画像がサンプル画像として格納されている。ここでは、図１８および図１９に表されるように、撮影条件が互いに異なる複数のサンプル画像が格納されている。これら測定対象の物体全体（魚体）のサンプル画像も、特徴部位（頭と尾）のサンプル画像と同様に、多数の測定対象の物体を撮影した撮影画像を教師データ（教師画像）とした機械学習により得ることができる。 Further, the storage device 23 stores a photographed image of the entire object to be measured (that is, a fish body in this case) as a sample image. Here, as shown in FIGS. 18 and 19, a plurality of sample images having different shooting conditions are stored. Similar to the sample images of the characteristic parts (head and tail), the sample images of the entire object to be measured (fish body) are also machine learning using the captured images of a large number of objects to be measured as teacher data (teacher images). Can be obtained by

設定部５５は、次のようにして調査範囲を設定する。例えば、設定部５５は、観測者により、長さの測定を要求する情報が入力装置２５の操作により入力されると、記憶装置２３から枠５０，５１に関する情報を読み出す。なお、長さの測定を要求する情報は、例えば、撮影画像４１Ａ，４１Ｂの再生中に画像の一時停止を指示する情報であってもよいし、撮影画像４１Ａ，４１Ｂの停止中に動画の再生を指示する情報であってよい。また、長さの測定を要求する情報は、表示装置２６に表示されている『測定開始』のマークが観測者の入力装置２５の操作により指示されたことを表す情報であってもよい。さらに、長さの測定を要求する情報は、測定開始を意味する予め定められた入力装置２５の操作（例えばキーボード操作）が行われたことを表す情報であってもよい。 The setting unit 55 sets the investigation range as follows. For example, when the observer inputs the information requesting the measurement of the length by the operation of the input device 25, the setting unit 55 reads out the information regarding the frames 50 and 51 from the storage device 23. The information requesting the measurement of the length may be, for example, information instructing the pause of the image during the reproduction of the captured images 41A and 41B, or the reproduction of the moving image while the captured images 41A and 41B are stopped. It may be information instructing. Further, the information requesting the measurement of the length may be information indicating that the "measurement start" mark displayed on the display device 26 is instructed by the operation of the input device 25 of the observer. Further, the information requesting the measurement of the length may be information indicating that an operation (for example, a keyboard operation) of the predetermined input device 25, which means the start of measurement, has been performed.

設定部５５は、枠５０，５１に関する情報を読み出した後に、撮影画像４Ａ，４Ｂにおいて、読み出した情報に表されている形状および大きさの枠５０，５１を図１７に表される枠Ａ１→枠Ａ２→枠Ａ３→・・・→枠Ａ９→・・・のように、枠５０，５１を所定の間隔で順次移動させる。なお、枠５０，５１の移動の間隔は、例えば、観測者により適宜可変可能な構成を備えていてもよい。 After reading the information about the frames 50 and 51, the setting unit 55 sets the frames 50 and 51 having the shape and size represented by the read information in the captured images 4A and 4B from the frame A1 → shown in FIG. The frames 50 and 51 are sequentially moved at predetermined intervals in the order of frame A2 → frame A3 → ... → frame A9 → ... The movement intervals of the frames 50 and 51 may be appropriately variable by the observer, for example.

また、設定部５５は、枠５０，５１を移動させながら、当該枠５０，５１における撮影画像部分と、図１８および図１９のような測定対象の物体のサンプル画像とのマッチ度（類似度）を例えばテンプレートマッチング手法で利用される手法により判定する。そして、設定部５５は、マッチ度が閾値（例えば、９０％）以上となる枠５０，５１を撮影画像４Ａ，４Ｂにおける調査範囲として設定する。例えば、図２０に表される撮影画像の例では、設定部５５により、１つの撮影画像において、２つの調査範囲（枠５０，５１）が設定されている。この場合には、２つの調査範囲のそれぞれについて、第１実施形態で述べたように、検知部３０は、特徴部位を検知する処理を実行し、特定部３１は、座標空間における特徴部位の空間座標を特定する。そして、算出部３２は、２つの調査範囲のそれぞれについて、検知された頭と尾の特徴部位の対(組み合わせ)が正しいか否かを判断し、正しい対の特徴部位間の間隔（ここでは、魚の長さＬ）を算出する。なお、例えば、長さの測定を要求する情報として画像の一時停止を指示する情報が入力された場合、設定部５５は、一時停止中の撮影画像において調査範囲を設定する。このように調査範囲が設定されることにより、前記の如く、対を成す特徴部位間の間隔が算出される。また、例えば、長さの測定を要求する情報として動画の再生を指示する情報が入力された場合、設定部５５は、再生中の動画に対して、連続的に、調査範囲を設定する。このように調査範囲が設定されることにより、前記の如く、対を成す特徴部位間の間隔が算出される。 Further, the setting unit 55 moves the frames 50 and 51 to match the captured image portion in the frames 50 and 51 with the sample image of the object to be measured as shown in FIGS. 18 and 19 (similarity). Is determined by, for example, the method used in the template matching method. Then, the setting unit 55 sets the frames 50 and 51 having the matching degree equal to or higher than the threshold value (for example, 90%) as the investigation range in the captured images 4A and 4B. For example, in the example of the photographed image shown in FIG. 20, the setting unit 55 sets two investigation ranges (frames 50 and 51) in one photographed image. In this case, for each of the two investigation ranges, as described in the first embodiment, the detection unit 30 executes the process of detecting the feature portion, and the specific unit 31 is the space of the feature portion in the coordinate space. Specify the coordinates. Then, the calculation unit 32 determines whether or not the detected pair (combination) of the head and tail feature parts is correct for each of the two survey ranges, and the distance between the correct pair of feature parts (here, here). Calculate the fish length L). For example, when information instructing the pause of the image is input as the information requesting the measurement of the length, the setting unit 55 sets the investigation range in the captured image during the pause. By setting the survey range in this way, the interval between the paired feature sites is calculated as described above. Further, for example, when the information instructing the reproduction of the moving image is input as the information requesting the measurement of the length, the setting unit 55 continuously sets the investigation range for the moving image being reproduced. By setting the survey range in this way, the interval between the paired feature sites is calculated as described above.

なお、設定部５５は、上記のように設定した調査範囲の位置を仮決定とし、仮決定の調査範囲（枠５０，５１）の位置を撮影画像４Ａ，４Ｂに明記すると共に、調査範囲の確認を観測者に促すメッセージを表示制御部３４によって表示装置２６に表示させる機能を備えていてもよい。そして、設定部５５は、観測者による入力装置２５の操作によって調査範囲（枠５０，５１）の位置（例えば、枠５０，５１が同じ魚を囲んでいること等）を確認した旨の情報が入力された場合に、調査範囲の位置を確定してもよい。また、設定部５５は、観測者による入力装置２５の操作により調査範囲（枠５０，５１）の位置を変更したい旨の情報が入力された場合には、調査範囲（枠５０，５１）の位置を調整可能とし、観測者により変更された枠５０，５１の位置を調査範囲として確定してもよい。 The setting unit 55 tentatively determines the position of the survey range set as described above, specifies the position of the tentatively determined survey range (frames 50 and 51) in the captured images 4A and 4B, and confirms the survey range. The display control unit 34 may have a function of displaying a message prompting the observer on the display device 26. Then, the setting unit 55 is informed that the position of the survey range (frames 50 and 51) (for example, the frames 50 and 51 surround the same fish) has been confirmed by the operation of the input device 25 by the observer. When entered, the location of the survey area may be determined. Further, when information indicating that the observer wants to change the position of the survey range (frames 50 and 51) is input by the observer operating the input device 25, the setting unit 55 positions the survey range (frames 50 and 51). May be adjusted, and the positions of the frames 50 and 51 changed by the observer may be determined as the survey range.

第２実施形態の情報処理装置２０および長さ測定システムにおける上記以外の構成は、第１実施形態の情報処理装置２０と同様である。 The configuration other than the above in the information processing device 20 and the length measuring system of the second embodiment is the same as that of the information processing device 20 of the first embodiment.

第２実施形態の情報処理装置２０および長さ測定システムは、第１実施形態と同様の構成を備えているので、第１実施形態と同様の効果を得ることができる。その上、第２実施形態の情報処理装置２０および長さ測定システムは、設定部５５を備えているので、観測者が調査範囲を確定する情報を入力しなくて済むこととなり、観測者の手間を軽減できる。これにより、第２実施形態の情報処理装置２０および長さ測定システムは、物体の長さ測定に関する利便性をより高めることができる。例えば、情報処理装置２０は、撮影画像４１Ａ，４１Ｂの同期を取り、その後、撮影画像４１Ａ，４１Ｂを再生しながら設定部５５と検知部３０と特定部３１と算出部３２により魚の長さＬを算出していく処理を再生終了まで連続して行うことが可能となる。なお、情報処理装置２０が上記のような画像の同期から撮影画像の再生および魚の長さの算出を連続して行う一連の処理を開始する手法には様々な手法が考えられる。例えば、入力装置２５の操作により処理の開始が指示された場合に、情報処理装置２０は、上記一連の処理を開始してもよい。また、撮影画像４１Ａ，４１Ｂが情報処理装置２０の記憶装置２３に格納（登録）される際に、情報処理装置２０は、その登録を検知することにより、上記一連の処理を開始してもよい。さらに、再生する撮影画像４１Ａ，４１Ｂが選択された際に、情報処理装置２０は、その選択情報に基づいて上記一連の処理を開始してもよい。ここでは、そのような様々な手法の中から、適宜な手法が採用されてよいものとする。 Since the information processing device 20 and the length measuring system of the second embodiment have the same configurations as those of the first embodiment, the same effects as those of the first embodiment can be obtained. Moreover, since the information processing device 20 and the length measuring system of the second embodiment include the setting unit 55, the observer does not have to input the information for determining the survey range, which is troublesome for the observer. Can be reduced. Thereby, the information processing apparatus 20 and the length measuring system of the second embodiment can further enhance the convenience regarding the length measurement of the object. For example, the information processing device 20 synchronizes the captured images 41A and 41B, and then, while reproducing the captured images 41A and 41B, the setting unit 55, the detection unit 30, the specific unit 31, and the calculation unit 32 determine the length L of the fish. It is possible to continuously perform the calculation process until the end of playback. Various methods can be considered as a method in which the information processing apparatus 20 starts a series of processes for continuously performing the reproduction of the captured image and the calculation of the fish length from the synchronization of the images as described above. For example, the information processing device 20 may start the series of processes when the start of the process is instructed by the operation of the input device 25. Further, when the captured images 41A and 41B are stored (registered) in the storage device 23 of the information processing device 20, the information processing device 20 may start the above series of processes by detecting the registration. .. Further, when the captured images 41A and 41B to be reproduced are selected, the information processing apparatus 20 may start the series of processes based on the selection information. Here, it is assumed that an appropriate method may be adopted from among such various methods.

また、設定部５５により調査範囲が設定される場合には、調査範囲が手動により設定される場合に比べて、調査範囲に複数の魚の画像が含まれる確率が高くなる。このため、前述したような頭と尾の特徴部位の誤った対が検知される確率が上がるけれども、情報処理装置２０は、第１実施形態で述べたように頭と尾の特徴部位の対の正誤を確認できるので、誤った対の特徴部位間の間隔を魚の長さＬとして算出する事態を抑制できる。 Further, when the survey range is set by the setting unit 55, the probability that the survey range includes images of a plurality of fish is higher than when the survey range is set manually. For this reason, the probability that an erroneous pair of the characteristic portion of the head and the tail is detected as described above increases, but the information processing apparatus 20 uses the pair of the characteristic portion of the head and the tail as described in the first embodiment. Since the correctness can be confirmed, it is possible to suppress the situation where the distance between the characteristic parts of the wrong pair is calculated as the length L of the fish.

＜その他の実施形態＞
なお、本発明は第１と第２の実施形態に限定されることなく、様々な実施の形態を採り得る。例えば、第１と第２の実施形態では、情報処理装置２０に分析部３３が備えられているが、魚の長さＬの観測により得られた情報の分析は、情報処理装置２０とは別の情報処理装置により実行されてもよく、この場合には、分析部３３は省略されてもよい。<Other Embodiments>
The present invention is not limited to the first and second embodiments, and various embodiments can be adopted. For example, in the first and second embodiments, the information processing device 20 is provided with an analysis unit 33, but the analysis of the information obtained by observing the length L of the fish is different from that of the information processing device 20. It may be executed by the information processing device, and in this case, the analysis unit 33 may be omitted.

また、第１と第２の実施形態では、対を成す特徴部位が魚の頭と尾である例を示したが、例えば、対を成す特徴部位として、さらに、背びれと腹びれの対をも検知する構成とし、頭と尾の間の長さだけでなく、背びれと腹びれとの間の長さをも算出してもよい。それら特徴部位としての背びれと腹びれを撮影画像から検知する手法は、頭と尾の検知と同様の検知手法を用いることができる。 Further, in the first and second embodiments, an example in which the paired characteristic parts are the head and the tail of the fish is shown. For example, as the paired characteristic parts, the pair of the dorsal fin and the abdominal fin is also detected. As a configuration, not only the length between the head and the tail but also the length between the dorsal fin and the abdominal fin may be calculated. As a method for detecting the dorsal fin and the abdominal fin as these characteristic parts from the captured image, a detection method similar to the detection of the head and the tail can be used.

さらに、例えば、頭と尾の間の長さと、背びれと腹びれとの間の長さとを算出する場合であって、それら長さに基づいて魚の重さを推定できる長さと重さの関係が得られる場合には、分析部３３が、それら算出された長さに基づき魚の重さを推定してもよい。 Further, for example, in the case of calculating the length between the head and the tail and the length between the dorsal fin and the abdominal fin, the relationship between the length and the weight that can estimate the weight of the fish based on these lengths is obtained. If so, the analysis unit 33 may estimate the weight of the fish based on the calculated lengths.

上記のような対を成す特徴部位として検知される物体の部位の組み合わせは、頭と尾の組み合わせに限定されず、測定対象の物体において長さを測定する部分に応じて適宜設定される。 The combination of the parts of the object detected as the paired feature parts as described above is not limited to the combination of the head and the tail, and is appropriately set according to the part of the object to be measured whose length is to be measured.

さらに、第１実施形態の説明では、特徴部位の参考データとして図６の例が挙げられているが、特徴部位の参考データの種類は、図２２〜図２５に表されているように、より多くてもよい。なお、図２２および図２３は、魚の頭に関する参考データの例であり、図２４および図２５は、魚の尾に関する参考データの例である。また、例えば、魚の尾の参考データとして、さらに、くねりが入っている魚の尾の画像が含まれていてもよい。また、魚の頭や尾の一部が撮影画像に映っていない見切りのデータが検知対象外の参考データとして与えられていてもよい。このように、参考データの種類や数は限定されない。 Further, in the description of the first embodiment, the example of FIG. 6 is given as the reference data of the feature portion, but the types of the reference data of the feature portion are more as shown in FIGS. 22 to 25. There may be many. 22 and 23 are examples of reference data regarding the fish head, and FIGS. 24 and 25 are examples of reference data regarding the fish tail. Further, for example, as reference data of the fish tail, an image of the fish tail containing a bend may be further included. In addition, parting data in which a part of the head or tail of the fish is not shown in the captured image may be given as reference data not to be detected. In this way, the type and number of reference data are not limited.

さらに、第１と第２の各実施形態において、教師データを利用した機械学習によって特徴部位（頭と尾）や測定対象の物体全体（魚体）のサンプル画像を作成する場合に、次のようにして教師データの削減が図られてもよい。例えば、教師データとして図２１に表されるような左向きの魚の撮影画像が取得された場合に、その左向きの魚の像を左右反転する処理を行って右向きの魚の教師データが得られるようにしてもよい。 Further, in each of the first and second embodiments, when creating a sample image of a feature part (head and tail) or the entire object to be measured (fish body) by machine learning using teacher data, the following is performed. The teacher data may be reduced. For example, when a photographed image of a left-pointing fish as shown in FIG. 21 is acquired as teacher data, the image of the left-pointing fish may be flipped horizontally so that the teacher data of the right-pointing fish can be obtained. Good.

さらに、第１実施形態において、情報処理装置２０が、特徴部位を検知する処理を開始する前などの適宜なタイミングで、撮影画像における水の濁りを軽減する画像処理や、カメラレンズや水の揺らぎに因る魚体の歪みを補正する画像処理を行ってもよい。また、情報処理装置２０は、撮影画像を物体の水深や明るさ等の撮影条件を考慮して補正する画像処理を行ってもよい。さらに、第２実施形態において、情報処理装置２０が、調査範囲を確定する処理を開始する前などの適宜なタイミングで、上記同様の画像処理を実行してもよい。このように、情報処理装置２０が、撮影環境を考慮して撮影画像を画像処理（画像補正）することにより、測定対象の物体の長さ測定の精度をより高めることができる。また、情報処理装置２０は、そのように画像補正された撮影画像を利用することにより、参考データの数を少なくできるという効果を得ることができる。 Further, in the first embodiment, image processing for reducing water turbidity in a captured image, camera lens, and fluctuation of water are performed at an appropriate timing such as before the information processing device 20 starts the process of detecting a feature portion. Image processing may be performed to correct the distortion of the fish body due to the above. Further, the information processing device 20 may perform image processing for correcting the captured image in consideration of imaging conditions such as the water depth and brightness of the object. Further, in the second embodiment, the same image processing as described above may be executed at an appropriate timing such as before the information processing apparatus 20 starts the process of determining the investigation range. In this way, the information processing device 20 can further improve the accuracy of length measurement of the object to be measured by performing image processing (image correction) on the captured image in consideration of the imaging environment. Further, the information processing apparatus 20 can obtain the effect that the number of reference data can be reduced by using the captured image corrected in this way.

さらに、第１と第２の実施形態では、測定対象の物体として魚を例にして説明しているが、第１と第２の実施形態で説明した構成を持つ情報処理装置２０は、他の物体にも適用可能である。すなわち、第１と第２の実施形態における情報処理装置２０は、魚でなくとも、長さを測定する部分の両端部分が他の部分と区別可能な特徴を持つ物体であれば、その物体の長さ測定に適用することもできる。 Further, in the first and second embodiments, a fish is described as an example of an object to be measured, but the information processing apparatus 20 having the configuration described in the first and second embodiments may be described by another example. It can also be applied to objects. That is, the information processing apparatus 20 in the first and second embodiments is an object that is not a fish but has a characteristic that both ends of the portion for measuring the length can be distinguished from other portions. It can also be applied to length measurement.

さらに、第１と第２の実施形態では、算出部３２は、検知部３０により検知された頭と尾の特徴部位の対の正誤を判断する際に、頭と尾の特徴部位を結ぶ仮想線分を傾き調査線として利用している。その仮想線分に代えて、算出部３２は、検知部３０により検知された頭と尾の特徴部位を通る仮想直線あるいは仮想半直線を傾き調査線として利用してもよい。 Further, in the first and second embodiments, the calculation unit 32 determines the correctness of the pair of the head and tail feature portions detected by the detection unit 30, and the calculation unit 32 connects the head and tail feature portions. Minutes are used as a tilt survey line. Instead of the virtual line segment, the calculation unit 32 may use a virtual straight line or a virtual half line passing through the characteristic portions of the head and tail detected by the detection unit 30 as an inclination survey line.

また、第１と第２の実施形態では、検知部３０により検知された頭と尾の特徴部位の対の正誤を算出部３２が判断する際に利用する傾き角度検知用データは、６つのクラスに分けられている参考画像と参考角度との関係データである。これに代えて、傾き角度検知用データは、参考画像と参考角度とのリニアな関係データであってもよい。 Further, in the first and second embodiments, the tilt angle detection data used when the calculation unit 32 determines the correctness of the pair of the characteristic portion of the head and the tail detected by the detection unit 30 is six classes. It is the relational data between the reference image and the reference angle divided into. Instead, the tilt angle detection data may be linear relationship data between the reference image and the reference angle.

さらに、第１と第２の実施形態では、算出部３２は、検知部３０により検知された頭と尾の特徴部位の対の正誤を判断する際に、仮想基準線として撮影画像における横線を利用している。これに代えて、算出部３２は、撮影画像における縦線を仮想基準線として利用してもよい。また、算出部３２は、四角形状の撮影画像における対角線を仮想基準線として利用してもよい。このように、仮想基準線は、撮影画像における横線に限定されない。 Further, in the first and second embodiments, the calculation unit 32 uses the horizontal line in the captured image as a virtual reference line when determining the correctness of the pair of the characteristic portion of the head and the tail detected by the detection unit 30. doing. Instead, the calculation unit 32 may use the vertical line in the captured image as a virtual reference line. Further, the calculation unit 32 may use the diagonal line in the rectangular captured image as a virtual reference line. As described above, the virtual reference line is not limited to the horizontal line in the captured image.

さらに、第１と第２の実施形態では、算出部３２は、検知部３０により検知された頭と尾の特徴部位の画像からそれぞれ参考角度を検知し、傾き調査線の角度を、検知された２つの参考角度のそれぞれと対比している。そして、算出部３２は、傾き調査線の角度が２つの参考角度の両方に合致している場合に、頭と尾の特徴部位の組み合わせは正しいと判断し、それら頭と尾の特徴部位間の間隔を測定対象の魚の長さＬとして算出している。これに代えて、例えば、測定対象の物体（例えば魚以外）の形状によっては、検知部３０により検知された対を成す特徴部位の一方の画像から検知される物体の傾きに応じた角度と、傾き調査線の角度との対比により、算出部３２は、対を成す特徴部位の組み合わせが正しいか否かを判断してもよい。 Further, in the first and second embodiments, the calculation unit 32 detects the reference angle from the images of the characteristic portions of the head and the tail detected by the detection unit 30, and detects the angle of the inclination survey line. Contrast with each of the two reference angles. Then, when the angle of the inclination survey line matches both of the two reference angles, the calculation unit 32 determines that the combination of the characteristic parts of the head and the tail is correct, and between the characteristic parts of the head and the tail. The interval is calculated as the length L of the fish to be measured. Instead, for example, depending on the shape of the object to be measured (for example, other than a fish), an angle corresponding to the inclination of the object detected from one image of the paired feature portions detected by the detection unit 30 and The calculation unit 32 may determine whether or not the combination of the paired feature portions is correct by comparing with the angle of the inclination survey line.

図２６には、本発明に係るその他の実施形態の情報処理装置の構成が簡略化して表されている。図２６における情報処理装置７０は、機能部として、検知部７１と、算出部７２とを備えている。この情報処理装置７０は、図２７に表されるように、撮影装置７６と共に、長さ測定システム７５を構成する。撮影装置７６は、測定対象の物体を撮影する構成を備えている。 FIG. 26 shows a simplified configuration of the information processing apparatus according to another embodiment of the present invention. The information processing device 70 in FIG. 26 includes a detection unit 71 and a calculation unit 72 as functional units. As shown in FIG. 27, the information processing device 70 constitutes a length measuring system 75 together with the photographing device 76. The photographing device 76 has a configuration for photographing an object to be measured.

情報処理装置７０の検知部７１は、撮影装置７６による撮影画像から、測定対象の物体における対を成す部位であって予め定められた特徴をそれぞれ持つ特徴部位を検知する機能を備えている。算出部７２は、撮影装置７６による撮影画像において、検知部７１により対として検知された特徴部位間を結ぶ仮想線分あるいは仮想直線あるいは仮想半直線である傾き調査線と、予め定められた仮想基準線との成す角度を算出する機能を備えている。さらに、算出部７２は、算出した角度が、撮影画像における特徴部位の画像に基づいて算出される測定対象の物体の仮想基準線に対する傾きに応じた角度であるか否かを判断する機能を備えている。さらに、算出部７２は、算出した角度が、測定対象の物体の傾きに応じた角度である場合に、その測定対象の物体の傾きに応じた傾きを持つ傾き調査線の基である対を成す特徴部位間の長さを算出する機能を備えている。 The detection unit 71 of the information processing device 70 has a function of detecting a paired portion of an object to be measured and a characteristic portion having predetermined characteristics from an image captured by the imaging device 76. The calculation unit 72 includes a virtual line segment, a virtual straight line, or a slope survey line that is a virtual half-line connecting the feature parts detected as a pair by the detection unit 71 in the image captured by the photographing device 76, and a predetermined virtual reference. It has a function to calculate the angle formed by the line. Further, the calculation unit 72 has a function of determining whether or not the calculated angle is an angle corresponding to the inclination of the object to be measured with respect to the virtual reference line calculated based on the image of the feature portion in the captured image. ing. Further, when the calculated angle is an angle corresponding to the inclination of the object to be measured, the calculation unit 72 forms a pair which is the basis of the inclination investigation line having the inclination according to the inclination of the object to be measured. It has a function to calculate the length between feature parts.

情報処理装置７０および長さ測定システム７５は、上記のような構成を備えることにより、撮影画像に基づいて測定対象の物体の長さを容易に、かつ、精度良く検知できるという効果を得ることができる。 By providing the information processing device 70 and the length measuring system 75 with the above-described configuration, it is possible to obtain the effect that the length of the object to be measured can be easily and accurately detected based on the captured image. it can.

以上、上述した実施形態を模範的な例として本発明を説明した。しかしながら、本発明は、上述した実施形態には限定されない。即ち、本発明は、本発明のスコープ内において、当業者が理解し得る様々な態様を適用することができる。 The present invention has been described above using the above-described embodiment as a model example. However, the present invention is not limited to the above-described embodiments. That is, the present invention can apply various aspects that can be understood by those skilled in the art within the scope of the present invention.

この出願は、２０１７年９月４日に出願された日本出願特願２０１７−１６９７９２を基礎とする優先権を主張し、その開示の全てをここに取り込む。 This application claims priority on the basis of Japanese application Japanese Patent Application No. 2017-169792 filed on September 4, 2017, and incorporates all of its disclosures herein.

２０，７０ 情報処理装置
３０，７１ 検知部
３１ 特定部
３２，７２ 算出部
１０，７５ 長さ測定システム
４０Ａ，４０Ｂ カメラ
５５ 設定部
７６ 撮影装置20,70 Information processing device 30,71 Detection unit 31 Specific unit 32,72 Calculation unit 10,75 Length measurement system 40A, 40B Camera 55 Setting unit 76 Imaging device

Claims (9)

測定対象の物体が撮影されている撮影画像から、前記物体における予め定められた特徴を持つ対を成す特徴部位を検知する検知手段と、
前記撮影画像において、前記対として検知された特徴部位間を結ぶ仮想線分あるいは仮想直線あるいは仮想半直線である傾き調査線と、予め定められた仮想基準線との成す角度が、前記撮影画像における前記特徴部位の画像と角度参考データに基づいて検知される前記測定対象の物体の傾きに応じた参考角度である場合に、前記傾き調査線の基となった対を成す特徴部位間の長さを算出する算出手段と
を備える情報処理装置。A detection means for detecting a pair of feature portions having predetermined features in the object from a captured image in which the object to be measured is captured.
In the captured image, the angle formed by the inclination survey line, which is a virtual line segment, a virtual straight line, or a virtual half straight line connecting the feature portions detected as the pair, and a predetermined virtual reference line is determined in the captured image. When the reference angle corresponds to the inclination of the object to be measured, which is detected based on the image of the feature portion and the angle reference data, the length between the paired feature portions that form the basis of the inclination survey line. An information processing device including a calculation means for calculating. 対と成り得る前記特徴部位の組み合わせが複数検知された場合には、前記算出手段は、前記特徴部位の組み合わせ毎に、前記傾き調査線と前記仮想基準線との成す角度を算出し当該算出した角度と前記参考角度との対比を行うことにより、前記算出した角度が前記参考角度となる前記傾き調査線を検知し、当該検知された前記傾き調査線の基となった対を成す前記特徴部位間の長さを算出する請求項１に記載の情報処理装置。 When a plurality of combinations of the characteristic parts that can be paired are detected, the calculation means calculates and calculates the angle formed by the inclination survey line and the virtual reference line for each combination of the characteristic parts. By comparing the angle with the reference angle, the tilt survey line whose calculated angle serves as the reference angle is detected, and the characteristic portion forming the pair on which the detected tilt survey line is based is detected. The information processing apparatus according to claim 1, wherein the length between the spaces is calculated. 前記算出手段は、対を成す前記特徴部位を複数検知した場合には、前記撮影画像に基づいて算出される、前記撮影画像を撮影した撮影装置から被写体までの距離に関連する情報を利用して前記撮影装置に最も近い前記物体に係る前記特徴部位間の長さを採用する請求項２に記載の情報処理装置。 When a plurality of paired feature portions are detected, the calculation means uses information related to the distance from the photographing device that captured the photographed image to the subject, which is calculated based on the photographed image. The information processing apparatus according to claim 2, wherein the length between the feature portions related to the object closest to the photographing apparatus is adopted. 前記算出手段は、対を成す前記特徴部位のそれぞれの画像に基づいて、それぞれ推定される前記物体の傾きに応じた２つの参考角度を検知し、前記傾き調査線と前記仮想基準線との成す角度が前記検知された２つの参考角度の両方に合致している場合に、前記傾き調査線と前記仮想基準線との成す角度が前記測定対象の物体の傾きに応じた参考角度であると判断し、前記傾き調査線の基となった対を成す特徴部位間の長さを算出する請求項１乃至請求項３の何れか一つに記載の情報処理装置。 The calculation means detects two reference angles according to the estimated inclinations of the objects based on the respective images of the paired feature parts, and forms the inclination investigation line and the virtual reference line. When the angle matches both of the two detected reference angles, it is determined that the angle formed by the inclination survey line and the virtual reference line is a reference angle according to the inclination of the object to be measured. The information processing apparatus according to any one of claims 1 to 3, wherein the length between the paired feature portions on which the inclination survey line is based is calculated. 前記検知手段は、前記特徴部位のサンプル画像が表されている参考部位画像に基づいて、前記撮影画像から前記特徴部位を検知する請求項１乃至請求項４の何れか一つに記載の情報処理装置。 The information processing according to any one of claims 1 to 4, wherein the detection means detects the feature portion from the captured image based on a reference site image showing a sample image of the feature portion. apparatus. 前記検知手段は、前記特徴部位のサンプル画像であって、かつ、画像中心が前記物体の長さを測定する測定部分の端部を表している参考部位画像に基づき、前記物体における前記測定部分の端部を中心にした部位を前記特徴部位として検知し、
前記算出手段は、前記対として検知された前記特徴部位の中心部間の間隔を算出する請求項５に記載の情報処理装置。The detection means is a sample image of the featured portion, and is based on a reference portion image in which the center of the image represents the end of the measuring portion for measuring the length of the object. The part centered on the end is detected as the characteristic part,
The information processing device according to claim 5, wherein the calculation means calculates the distance between the central portions of the feature portions detected as the pair. 測定対象の物体を撮影する撮影装置と、
前記撮影装置により撮影された撮影画像を利用する請求項１乃至請求項６の何れか一つに記載の情報処理装置と
を備える長さ測定システム。An imaging device that photographs the object to be measured, and
A length measuring system including the information processing device according to any one of claims 1 to 6, which uses a photographed image captured by the photographing device. 測定対象の物体が撮影されている撮影画像から、前記物体における予め定められた特徴を持つ対を成す特徴部位を検知し、
前記撮影画像において、前記対として検知された特徴部位間を結ぶ仮想線分あるいは仮想直線あるいは仮想半直線である傾き調査線と、予め定められた仮想基準線との成す角度が、前記撮影画像における前記特徴部位の画像と角度参考データに基づいて検知される前記測定対象の物体の傾きに応じた参考角度である場合に、前記傾き調査線の基となった対を成す特徴部位間の長さを算出する長さ測定方法。From the captured image in which the object to be measured is photographed, a pair of characteristic parts having predetermined characteristics in the object is detected.
In the captured image, the angle formed by the inclination survey line, which is a virtual line segment, a virtual straight line, or a virtual half straight line connecting the feature portions detected as the pair, and a predetermined virtual reference line is determined in the captured image. When the reference angle corresponds to the inclination of the object to be measured, which is detected based on the image of the feature portion and the angle reference data, the length between the paired feature portions that form the basis of the inclination survey line. A length measurement method for calculating. 測定対象の物体が撮影されている撮影画像から、前記物体における予め定められた特徴を持つ対を成す特徴部位を検知する処理と、
前記撮影画像において、前記対として検知された特徴部位間を結ぶ仮想線分あるいは仮想直線あるいは仮想半直線である傾き調査線と、予め定められた仮想基準線との成す角度が、前記撮影画像における前記特徴部位の画像と角度参考データに基づいて検知される前記測定対象の物体の傾きに応じた参考角度である場合に、前記傾き調査線の基となった対を成す特徴部位間の長さを算出する処理と
をコンピュータに実行させるコンピュータプログラム。 A process of detecting a pair of featured parts having predetermined features in the object from a photographed image of the object to be measured, and a process of detecting the paired feature parts of the object.
In the captured image, the angle formed by the inclination survey line, which is a virtual line segment, a virtual straight line, or a virtual half straight line connecting the feature portions detected as the pair, and a predetermined virtual reference line is determined in the captured image. When the reference angle corresponds to the inclination of the object to be measured, which is detected based on the image of the feature portion and the angle reference data, the length between the paired feature portions that form the basis of the inclination survey line. computer programs for executing the processing for calculating the computer.
JP2019539697A 2017-09-04 2018-09-03 Information processing equipment, length measurement system, length measurement method and computer program Active JP6879375B2 (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017169792 2017-09-04
JP2017169792 2017-09-04
PCT/JP2018/032534 WO2019045089A1 (en) 2017-09-04 2018-09-03 Information processing device, length measurement system, length measurement method, and program storage medium

Publications (2)

Publication Number Publication Date
JPWO2019045089A1 JPWO2019045089A1 (en) 2020-08-27
JP6879375B2 true JP6879375B2 (en) 2021-06-02

Family

ID=65527415

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019539697A Active JP6879375B2 (en) 2017-09-04 2018-09-03 Information processing equipment, length measurement system, length measurement method and computer program

Country Status (2)

Country Link
JP (1) JP6879375B2 (en)
WO (1) WO2019045089A1 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6760458B1 (en) 2019-09-24 2020-09-23 日本電気株式会社 Individual weight estimation system, method and program
WO2021065265A1 (en) * 2019-09-30 2021-04-08 日本電気株式会社 Size estimation device, size estimation method, and recording medium
CN112492197B (en) * 2020-11-18 2022-01-07 京东科技信息技术有限公司 Image processing method and related equipment

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA1251863A (en) * 1988-02-29 1989-03-28 Kevin Mccarthy Fish sorting machine
JP2007304721A (en) * 2006-05-09 2007-11-22 Toyota Motor Corp Image processing device and image processing method
JP5217193B2 (en) * 2007-03-14 2013-06-19 カシオ計算機株式会社 Imaging apparatus, dimension measuring method, and program.
JP6016226B2 (en) * 2012-04-04 2016-10-26 シャープ株式会社 Length measuring device, length measuring method, program
JP5997989B2 (en) * 2012-09-13 2016-09-28 株式会社キーエンス Image measuring apparatus, control method thereof, and program for image measuring apparatus
US20190277624A1 (en) * 2016-09-30 2019-09-12 Nec Corporation Information processing device, length measurement method, and program storage medium

Also Published As

Publication number Publication date
JPWO2019045089A1 (en) 2020-08-27
WO2019045089A1 (en) 2019-03-07

Similar Documents

Publication Publication Date Title
JP7004094B2 (en) Fish length measurement system, fish length measurement method and fish length measurement program
JP6981531B2 (en) Object identification device, object identification system, object identification method and computer program
JP6735592B2 (en) Image processing apparatus, control method thereof, and image processing system
JP7001145B2 (en) Information processing equipment, object measurement system, object measurement method and computer program
JP6816773B2 (en) Information processing equipment, information processing methods and computer programs
JP6879375B2 (en) Information processing equipment, length measurement system, length measurement method and computer program
US20130002712A1 (en) Image display device and image display method
CN109600543B (en) Method for photographing panoramic image by mobile device and mobile device
JP2017004268A (en) Image processor, image processing method and image processing program
JP2016085380A (en) Controller, control method, and program
JP2009210331A (en) Camera calibration apparatus and camera calibration method
JP2017079400A (en) Display system, information processing method, and program
WO2021192906A1 (en) Calculation method
JP4198536B2 (en) Object photographing apparatus, object photographing method and object photographing program
JP4860431B2 (en) Image generation device
JPWO2018061928A1 (en) INFORMATION PROCESSING APPARATUS, COUNTING SYSTEM, COUNTING METHOD, AND COMPUTER PROGRAM
US10432916B2 (en) Measurement apparatus and operation method of measurement apparatus
JPWO2018061926A1 (en) Counting system and counting method
WO2021192908A1 (en) Tracking method
CN111279352A (en) Three-dimensional information acquisition system through ball throwing exercise and camera parameter calculation method
JP7323234B2 (en) Guide method
JP7059829B2 (en) Information processing equipment, information processing methods and programs
US20230260159A1 (en) Information processing apparatus, information processing method, and non-transitory computer readable medium
JP2008157780A (en) Three-dimensional data creating apparatus, image acquiring device, three-dimensional data creating method, image acquisition method and program
CN115994949A (en) Automatic calibration method, equipment, system and computer readable storage medium

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200214

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200214

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210330

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210412

R150 Certificate of patent or registration of utility model

Ref document number: 6879375

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150