JP7001145B2 - 情報処理装置、物体計測システム、物体計測方法およびコンピュータプログラム - Google Patents

情報処理装置、物体計測システム、物体計測方法およびコンピュータプログラム Download PDF

Info

Publication number
JP7001145B2
JP7001145B2 JP2020505103A JP2020505103A JP7001145B2 JP 7001145 B2 JP7001145 B2 JP 7001145B2 JP 2020505103 A JP2020505103 A JP 2020505103A JP 2020505103 A JP2020505103 A JP 2020505103A JP 7001145 B2 JP7001145 B2 JP 7001145B2
Authority
JP
Japan
Prior art keywords
measurement
fish
reference line
length
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020505103A
Other languages
English (en)
Other versions
JPWO2019172363A1 (ja
Inventor
丈晴 北川
君 朴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2019172363A1 publication Critical patent/JPWO2019172363A1/ja
Application granted granted Critical
Publication of JP7001145B2 publication Critical patent/JP7001145B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01KANIMAL HUSBANDRY; AVICULTURE; APICULTURE; PISCICULTURE; FISHING; REARING OR BREEDING ANIMALS, NOT OTHERWISE PROVIDED FOR; NEW BREEDS OF ANIMALS
    • A01K61/00Culture of aquatic animals
    • A01K61/90Sorting, grading, counting or marking live aquatic animals, e.g. sex determination
    • A01K61/95Sorting, grading, counting or marking live aquatic animals, e.g. sex determination specially adapted for fish
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/02Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/04Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness specially adapted for measuring length or width of objects while moving
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462Salient features, e.g. scale invariant feature transforms [SIFT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Zoology (AREA)
  • Environmental Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Animal Husbandry (AREA)
  • Marine Sciences & Fisheries (AREA)
  • Geometry (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Description

本発明は、計測対象の物体を撮影した撮影画像から物体の長さなどを計測する技術に関する。
魚の養殖技術の向上のために、養殖している魚の成長を観測することが行われている。特許文献1には、魚の観測に関わる技術が開示されている。この特許文献1における技術では、水槽の上方側(あるいは底側)と横側から撮影された魚の背側(あるいは腹側)の撮影画像と、頭側の正面の撮影画像とに基づいて、魚の頭、胴体、尾ひれ等の部位の形状や大きさが部位毎に推定される。その魚の部位毎の形状や大きさの推定は、各部位毎に与えられている複数のテンプレート画像を利用して行われる。すなわち、各部位毎の撮影画像がそれぞれ各部位毎のテンプレート画像に照合され、撮影画像に合うテンプレート画像中の魚の部位における大きさ等の既知の情報に基づいて、魚の各部位毎の大きさ等が推定される。
特許文献2には、水中の魚を動画カメラと静止画カメラによって撮影し、撮影された動画および静止画に基づいて、魚影を検知する技術が開示されている。また、特許文献2には、画像サイズ(画素数)によって、魚のサイズを推定する構成が示されている。
特開2003-250382号公報 特開2013-201714号公報
特許文献1に記載されている技術では、テンプレート画像中の魚の部位における既知の大きさの情報に基づいて魚の部位の大きさが推定されている。つまり、特許文献1における技術では、テンプレート画像中の魚の部位の大きさが計測対象の魚の部位の大きさとして検知されているにすぎず、計測対象の魚の部位の大きさを計測していないので、大きさの検知精度を高めにくいという問題が生じる。
特許文献2には、魚影サイズとして画像サイズ(画素数)を検知する構成は示されているものの、魚の実際の大きさを検知する構成は開示されていない。
本発明は上記課題を解決するために考え出された。すなわち、本発明の主な目的は、撮影画像に基づいて計測対象の物体の長さなどを計測した計測値の確からしさを高めることができる技術を提供することにある。
上記目的を達成するために、本発明に係る一実施形態としての情報処理装置は、
計測対象の物体が撮影されている撮影画像中における前記物体の画像である物体画像に設定された基準線で前記物体画像を区分した場合に前記物体画像における前記基準線の両側の区分領域のそれぞれにおいて、前記物体の予め定められた長さ計測に利用する部分を計測利用点として検知する検知部と、
前記区分領域のそれぞれにおいて、前記計測利用点を通り、かつ、前記基準線に垂直な垂線と前記基準線との交点と、前記計測利用点との間の線分の長さを算出し、前記区分領域のそれぞれにおいて算出した前記線分の長さを加算することにより前記物体における計測対象の長さを算出する算出部と
を備える。
また、本発明に係る一実施形態としての物体計測システムは、
計測対象の物体を撮影する撮影装置と、
前記撮影装置により撮影された撮影画像を利用して、前記計測対象の物体における計測対象の長さを算出する情報処理装置と
を備え、
前記情報処理装置は、
計測対象の物体が撮影されている撮影画像中における前記物体の画像である物体画像に設定された基準線で前記物体画像を区分した場合に前記物体画像における前記基準線の両側の区分領域のそれぞれにおいて、前記物体の予め定められた長さ計測に利用する部分を計測利用点として検知する検知部と、
前記区分領域のそれぞれにおいて、前記計測利用点を通り、かつ、前記基準線に垂直な垂線と前記基準線との交点と、前記計測利用点との間の線分の長さを算出し、前記区分領域のそれぞれにおいて算出した前記線分の長さを加算することにより前記物体における計測対象の長さを算出する算出部と
を備える。
さらに、本発明に係る一実施形態としての物体計測方法は、
コンピュータによって、
計測対象の物体が撮影されている撮影画像中における前記物体の画像である物体画像に設定された基準線で前記物体画像を区分した場合に前記物体画像における前記基準線の両側の区分領域のそれぞれにおいて、前記物体の予め定められた長さ計測に利用する部分を計測利用点として検知し、
前記区分領域のそれぞれにおいて、前記計測利用点を通り、かつ、前記基準線に垂直な垂線と前記基準線との交点と、前記計測利用点との間の線分の長さを算出し、
前記区分領域のそれぞれにおいて算出した前記線分の長さを加算することにより前記物体における計測対象の長さを算出する。
さらに、本発明に係る一実施形態としてのプログラム記憶媒体は、
計測対象の物体が撮影されている撮影画像中における前記物体の画像である物体画像に設定された基準線で前記物体画像を区分した場合に前記物体画像における前記基準線の両側の区分領域のそれぞれにおいて、前記物体の予め定められた長さ計測に利用する部分を計測利用点として検知する処理と、
前記区分領域のそれぞれにおいて、前記計測利用点を通り、かつ、前記基準線に垂直な垂線と前記基準線との交点と、前記計測利用点との間の線分の長さを算出する処理と、
前記区分領域のそれぞれにおいて算出した前記線分の長さを加算することにより前記物体における計測対象の長さを算出する処理と
をコンピュータに実行させるコンピュータプログラムを記憶する。
本発明によれば、撮影画像に基づいて計測対象の物体の長さなどを計測した計測値の確からしさを高めることができる。
本発明に係る第1実施形態の情報処理装置の構成を簡略化して表すブロック図である。 第1実施形態の情報処理装置に撮影画像を提供する撮影装置の構成を説明する図である。 第1実施形態の情報処理装置に撮影画像を提供する撮影装置を表す斜視図である。 第1実施形態において、撮影装置が計測対象の物体である魚を撮影する態様を説明する図である。 計測対象の物体である魚を撮影した撮影画像を表示装置に表示する形態の一例を説明する図である。 表示装置に表示されている撮影画像において計測対象の物体として検知された物体の一例を説明する図である。 計測対象の物体である魚体を機械学習により学習する際に利用する教師データの例を表す図である。 計測対象の魚体を機械学習する際の教師データとして採用されない魚体の例を表す図である。 第1実施形態において、計測利用点として検知する魚体の位置を説明する図である。 魚体における計測利用点を機械学習により学習する際に利用する教師データの例を表す図である。 機械学習を利用して生成される計測利用点を検知するための参考データの一例を表す図である。 第1実施形態において算出される魚体の尾叉長を説明する図である。 第1実施形態において魚体の体高を算出する手法を説明する図である。 第1実施形態における情報処理装置が魚体の計測に関する動作の一例を説明するフローチャートである。 本発明に係る第2実施形態の情報処理装置において特徴的な構成部分を抜き出して表すブロック図である。 第2実施形態の情報処理装置が備える補正部の機能を説明する図である。 本発明に係る第3実施形態の情報処理装置において特徴的な構成部分を抜き出して表すブロック図である。 本発明に係るその他の実施形態の情報処理装置の構成を簡略化して表すブロック図である。 本発明に係るその他の実施形態の物体計測システムの構成を簡略化して表すブロック図である。
以下に、本発明に係る実施形態を図面を参照しながら説明する。
<第1実施形態>
図1は、本発明に係る第1実施形態の情報処理装置の構成を簡略化して表すブロック図である。第1実施形態の情報処理装置10は、図2Aに表されるような複数(2台)のカメラ40A,40Bによって撮影された計測対象の物体である魚の撮影画像から、魚の長さ(尾叉長と体高)を算出し、さらに、体重を推定する機能を備えている。この情報処理装置10は、カメラ40A,40Bと共に、物体計測システムである魚計測システムを構成する。
第1実施形態では、カメラ40A,40Bは、動画を撮影する機能を備えている撮影装置であるが、動画撮影機能を持たずに例えば静止画を設定の時間間隔毎に断続的に撮影する撮影装置をカメラ40A,40Bとして採用してもよい。
ここでは、カメラ40A,40Bは、図2Aに表されるような支持部材42に支持固定されることにより、図2Bに表されるように間隔を介して並設されている状態で、魚を撮影する。支持部材42は、伸縮棒43と、取り付け棒44と、取り付け具45A,45Bとを有して構成されている。この例では、伸縮棒43は、伸縮自在な棒部材であり、さらに、伸縮可能な長さ範囲内における使用に適切な長さで長さを固定できる構成を備えている。取り付け棒44は、例えばアルミニウム等の金属材料により構成されており、伸縮棒43に直交するように接合されている。取り付け棒44には、伸縮棒43との接合部分を中心にして対称となる部位にそれぞれ取り付け具45A,45Bが固定されている。取り付け具45A,45Bは、カメラ40A,40Bを搭載する搭載面46A,46Bを備え、当該搭載面46A,46Bに搭載されたカメラ40A,40Bを例えば螺子等により搭載面46A,46Bにがたつきなく固定する構成が設けられている。
カメラ40A,40Bは、上述したような構成を持つ支持部材42に固定されることにより、予め設定された間隔を介して並設されている状態を維持することができる。また、第1実施形態では、カメラ40A,40Bに設けられているレンズが同じ方向を向き、かつ、レンズの光軸が平行となるように、カメラ40A,40Bは支持部材42に固定される。なお、カメラ40A,40Bを支持固定する支持部材は、図2A等に表される支持部材42に限定されない。例えば、カメラ40A,40Bを支持固定する支持部材は、支持部材42における伸縮棒43に代えて、1本あるいは複数本のロープを利用し、当該ロープによって取り付け棒44や取り付け具45A,45Bを吊下げる構成であってもよい。
カメラ40A,40Bは、支持部材42に固定されている状態で、例えば図3に表されるように魚が養殖されている生簀48に進入し、魚の観測(換言すれば、計測対象の物体である魚の撮影)に適切と判断された水深およびレンズの向きで配設される。なお、生簀48に進入させた支持部材42(カメラ40A,40B)を適宜な水深およびレンズの向きで配設固定する手法には様々な手法が考えられ、ここでは、何れの手法を採用してもよく、その説明は省略する。また、カメラ40A,40Bのキャリブレーションは、生簀48の環境や計測対象の魚の種類等を考慮した適宜なキャリブレーション手法によって行われる。ここでは、そのキャリブレーション手法の説明は省略する。
さらに、カメラ40A,40Bによる撮影を開始する手法および撮影を停止する手法は、カメラ40A,40Bの性能や生簀48の環境などを考慮した適宜な手法が採用される。例えば、魚の観測者(計測者)が、カメラ40A,40Bを生簀48に進入させる前に手動により撮影を開始させ、また、カメラ40A,40Bを生簀48から退出させた後に手動により撮影を停止させる。また、カメラ40A,40Bが無線通信あるいは有線通信の機能を備えている場合には、撮影開始と撮影停止を制御する情報を送信できる操作装置と、カメラ40A,40Bとが接続される。そして、計測者による操作装置の操作により、水中のカメラ40A,40Bの撮影開始と撮影停止が制御されてもよい。
また、カメラ40Aとカメラ40Bの一方または両方の撮影中の画像をカメラ40A,40Bから有線通信あるいは無線通信により受信可能なモニタ装置が用いられてもよい。この場合には、計測者は、モニタ装置により撮影中の画像を見ることが可能となる。これにより、例えば、計測者は、撮影中の画像を見ながら、カメラ40A,40Bの撮影方向や水深を変更することが可能となる。なお、モニタ機能を備えた携帯端末がモニタ装置として用いられてもよい。
ところで、情報処理装置10は、魚の長さ(ここでは、尾叉長と体高)を算出する処理において、同時間に撮影されたカメラ40Aの撮影画像とカメラ40Bの撮影画像とを用いる。このことを考慮し、同時間に撮影されたカメラ40Aによる撮影画像とカメラ40Bによる撮影画像とを得やすくするために、時間合わせに用いる目印となる変化をも撮影中にカメラ40A,40Bに撮影させることが好ましい。例えば、時間合わせに用いる目印として、自動制御あるいは計測者の手動によって短時間発光する光を利用することとし、カメラ40A,40Bがその光を撮影するようにしてもよい。これにより、カメラ40A,40Bによる撮影画像に撮影されたその光に基づき、カメラ40Aによる撮影画像と、カメラ40Bによる撮影画像との時間合わせ(同期)を行うことが容易となる。
上述したようなカメラ40A,40Bにより撮影された撮影画像は、有線通信あるいは無線通信によって情報処理装置10に取り込まれてもよいし、可搬型記憶媒体(例えば、SD(Secure Digital)カード)に格納された後に当該可搬型記憶媒体から情報処理装置10に取り込まれてもよい。
情報処理装置10は、図1に表されるように、概略すると、制御装置22と、記憶装置23とを備えている。また、情報処理装置10は、例えば計測者の操作により情報を情報処理装置10に入力する入力装置(例えば、キーボードやマウス)25と、情報を表示する表示装置26に接続されている。さらに、情報処理装置10は、当該情報処理装置10とは別体の外付けの記憶装置24に接続されていてもよい。
記憶装置23は、各種データやコンピュータプログラム(以下、プログラムとも記す)を記憶する機能を有し、例えば、ハードディスク装置や半導体メモリ等の記憶媒体により実現される。情報処理装置10に備えられる記憶装置は一つに限定されず、複数種の記憶装置が情報処理装置10に備えられていてもよく、この場合には、複数の記憶装置を総称して記憶装置23と記す。また、記憶装置24も、記憶装置23と同様に、各種データやコンピュータプログラムを記憶する機能を有し、例えば、ハードディスク装置や半導体メモリ等の記憶媒体により実現される。なお、情報処理装置10が記憶装置24に接続されている場合には、記憶装置24には適宜な情報が格納される。また、この場合には、情報処理装置10は、適宜、記憶装置24に情報を書き込む処理および読み出す処理を実行するが、以下の説明では、記憶装置24に関する説明を省略する。
第1実施形態では、記憶装置23には、カメラ40A,40Bによる撮影画像が、撮影したカメラを識別する識別情報や、撮影時間の情報などの撮影状況に関わる情報と関連付けられた状態で格納される。
制御装置22は、例えば、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)などのプロセッサにより構成される。制御装置22は、例えばCPUが記憶装置23に格納されているコンピュータプログラムを実行することにより、次のような機能を有することができる。すなわち、制御装置22は、機能部として、検知部30と、特定部31と、算出部32と、分析部33と、表示制御部34とを備えている。
表示制御部34は、表示装置26の表示動作を制御する機能を備えている。例えば、表示制御部34は、入力装置25から、カメラ40A,40Bの撮影画像を再生する要求を受け取った場合に、記憶装置23から要求に応じたカメラ40A,40Bの撮影画像を読み出し当該撮影画像を表示装置26に表示する。図4は、表示装置26におけるカメラ40A,40Bの撮影画像の表示例を表す図である。図4の例では、二画面表示により、カメラ40Aによる撮影画像41Aとカメラ40Bによる撮影画像41Bが並んで表示される。
なお、表示制御部34は、表示装置26に同時に表示される撮影画像41A,41Bの撮影時刻が同じとなるように、撮影画像41A,41Bの同期が可能な機能を備える。例えば、表示制御部34は、カメラ40A,40Bに同時撮影された前述したような時間合わせの目印を利用して、計測者が撮影画像41A,41Bの再生コマをそれぞれ調整可能な機能を備える。
検知部30は、表示装置26に表示(再生)されている撮影画像41A,41Bにおいて、計測対象の魚を検知する機能と、検知した計測対象の魚における計測ポイントを検知する機能とを備えている。
すなわち、検知部30は、次のようにして計測対象の魚を検知する。例えば、検知部30は、表示装置26に表示(再生)されている撮影画像41A,41Bにおける計測者が指定したフレームにおいて、あるいは、設定のフレーム数毎に、記憶装置23に格納されている魚体検知用の参考データを利用して計測対象の魚体を検知する。魚体検知用の参考データは、例えば機械学習により生成される。その機械学習では、計測対象の種類の魚における図6に表されるような魚体の多数の画像を教師データとして計測対象の種類の魚体が学習される。ここでは、例えば、図7に表されるような大きくくねっている魚の画像や、傾きが大きい魚の画像や、体の一部が写っていない魚の画像は、検知対象外とし、計測対象の魚体としては学習されない。このような魚体として機械学習されなかった魚体の画像は魚体検知用の参考データには反映されないので、検知部30は、図7に表されるような魚体を計測対象の魚としては検知しない。なお、機械学習には様々な手法があり、ここでは、適宜な機械学習の手法が採用される。
あるいは、検知部30は、上述したような機械学習を利用する手法ではなく、計測者による入力情報に基づいて計測対象の魚を検知する機能を備えていてもよい。この場合には、例えば、検知部30は、表示制御部34を利用して、図4のように撮影画像41A,41Bが表示されている表示装置26に、「計測対象の魚を指定(選択)して下さい」旨のメッセージを表示させる。そして、例えば、計測者が入力装置25を操作することにより、撮影画像41A,41Bにおいて計測対象の魚を図5に表されるような枠50,51によって囲むことにより、計測対象の魚が指定された状態となる。検知部30は、枠50,51の表示位置情報により計測対象の魚を検知する。なお、枠50,51は、例えば長方形状(正方形を含む)と成し、その大きさおよび縦横比が計測者により可変可能となっている。また、計測者が枠50,51によって計測対象の魚を指定する作業を実行している場合には、撮影画像41A,41Bは一時停止状態で静止している状態となっている。
さらにまた、検知部30は、次のようにして計測対象の魚を検知してもよい。この場合には、撮影画像41A,41Bのうちの一方側を表示する画面領域(例えば図4、図5における左側の画面領域)が操作画面として設定され、他方側を表示する画面領域(例えば図4、図5における右側の画面領域)が参照画面として設定されている。検知部30は、計測者に、操作画面において計測対象の魚を枠50により指定することをメッセージ表示などによって促し、これを受けた計測者の操作による枠50の表示位置の情報を取得する。また、検知部30は、カメラ40A,40B間の間隔を表す間隔情報に基づき、撮影画像41Bにおいて枠50により指定されている領域と同じ領域を表す参照画面の撮影画像41Aでの枠51の表示位置を算出する。このようにして取得された枠50,51の表示位置の情報に基づいて、検知部30は、計測対象の魚を検知する。
なお、検知部30は、撮影画像41Bにおいて枠50の位置や大きさが計測者により調整されている最中に、その位置や大きさに追従して撮影画像41Aにおける枠51の位置や大きさを可変する機能を備える。あるいは、検知部30は、撮影画像41Bにおいて枠50の位置および大きさが確定した後に、枠51を撮影画像41Aに表示させる機能を備えていてもよい。さらにまた、検知部30は、枠50の位置や大きさの調整に追従して枠51の位置や大きさを可変する機能と、枠50の位置および大きさが確定した後に枠51を表示させる機能とを共に備え、例えば計測者により択一的に選択された側の機能を実行してもよい。
検知部30は、さらに、撮影画像41A,41Bにおいて計測対象として検知した魚における予め定められた特徴を持つ計測利用点を検知する機能を備えている。ここでは、魚の尾叉長の計測に利用する図8に表されるような魚の尾の二叉する部分Ptと口先Pmが計測利用点として検知される。さらに、魚の体高の計測に利用する図8に表されるような背側の頂部Pbと、腹側の最も膨らんでいる部分として腹びれの付け根部分Psとも計測利用点として検知される。これら計測利用点Pt,Pm,Pb,Psの検知手法には様々な手法があり、ここでは、検知部30は、計測者のニーズや、制御装置の性能などを考慮して選択された適宜な手法により計測利用点を検知するが、その一例を次に挙げる。
例えば、検知部30は、計測者に、計測対象の魚の画像において、入力装置25を利用して計測利用点を指定(点打ち)することをメッセージ表示などによって促し、それを受けた計測者の操作に基づいて計測対象の魚の画像における計測利用点を検知する。なお、計測者により指定された計測利用点は表示制御部34により表示装置26に明示され、これにより、計測者が指定した計測利用点の位置を確認することができる構成が情報処理装置10に備えられる。また、計測者が計測利用点を指定した後に計測利用点の指定のやり直しを受け付ける構成をも情報処理装置10は備える。
計測利用点の検知手法の別の例として、例えば、検知部30は、機械学習により生成された計測利用点検知用の参考データに基づいて、計測利用点Pt,Pm,Pb,Psを検知してもよい。計測利用点検知用の参考データは、図9に表されるような計測利用点Pt,Pm,Pb,Psが付された魚体全体の画像データを教師データとした機械学習により生成され、記憶装置23に格納される。
なお、同じ魚でも、満腹状態(例えば給餌直後)と、空腹状態(例えば給餌前)と、基準状態(例えば、設定されている給餌タイミングの時間間隔の中間時点)とでは腹の膨らみが異なる。このような腹の膨らみ具合や泳いでいる際の腹びれや背びれの使い方などによって、撮影画像における魚の腹びれの写り方が異なる。このため、そのような様々な状態を考慮して選定された教師データを利用した機械学習により計測利用点検知用の参考データが生成される。
また、検知部30が利用する計測利用点検知用の参考データは、魚体全体ではなく、図10に表されるような魚体パーツ毎の参考データであってもよい。魚体パーツ毎の参考データは、計測利用点Pt,Pm,Pb,Psがそれぞれ付された魚体パーツ毎の画像データを教師データとした機械学習により生成される。ここでは、魚体パーツの画像データの中心が計測利用点Pt,Pm,Pb,Psとなるように抽出された画像が教師データとして利用される。このような教師データを利用した機械学習による魚体パーツ毎の計測利用点検知用の参考データは、その中心位置が計測利用点Pt,Pm,Pb,Psを表すという意味を持つ。
検知部30は、さらに、表示制御部34を利用して、検知した計測利用点Pt,Pm,Pb,Psの位置を表示装置26に例えばマークや点などを利用して明示させる機能を備えている。なお、計測利用点Pt,Pm,Pb,Psは、表示装置26における撮影画像41A,41Bの両方において明示されてもよいし、撮影画像41A,41Bのうちの一方(例えば、操作画面である撮影画像41B)において明示されてもよい。
特定部31は、検知部30により検知された計測対象の魚における計測利用点Pt,Pm,Pb,Psの座標空間における位置を表す座標を特定する機能を備えている。例えば、特定部31は、検知部30により検知された計測対象の魚における計測利用点Pt,Pm,Pb,Psが撮影画像41A,41Bにおいて表示されている表示位置を表す表示位置情報を検知部30から受け取る。また、特定部31は、記憶装置23から、カメラ40A,40B(つまり、撮影位置)間の間隔を表す間隔情報を読み出す。そして、特定部31は、それら情報を利用して、三角測量法によって計測対象の魚における計測利用点Pt,Pm,Pb,Psの座標空間における座標を特定(算出)する。
算出部32は、特定部31により特定された計測対象の魚における口先と尾の計測利用点Pm,Ptの空間座標を利用して、計測利用点Pm,Pt間の図11に表されるような間隔Lを計測対象の魚の尾叉長(計測対象の長さ)として算出する機能を備えている。
また、算出部32は計測対象の魚の体高(計測対象の長さ)を次のように算出する機能を備えている。すなわち、算出部32は、口先と尾の計測利用点Pm,Pt間を結ぶ図12に表されるような直線Sを基準線として設定する。そして、算出部32は、基準線Sに垂直であり、かつ、計測利用点Psを通る垂線I1において、基準線Sとの交点Pssと計測利用点Psとの間の線分PsPssの長さh1を算出する。さらに、算出部32は、基準線Sに垂直であり、かつ、計測利用点Pbを通る垂線I2において、基準線Sとの交点Pbsと計測利用点Pbとの間の線分PbPbsの長さh2を算出する。さらにまた、算出部32は、算出した線分の長さh1,h2を加算し当該加算値H(H=h1+h2)を計測対象の魚の体高として算出する。つまり、算出部32は、基準線Sに直交する方向の計測対象の長さである魚の体高を算出する。また、上述したように、算出部32は、基準線Sの両端部間の長さをも計測対象の長さである尾叉長として算出する。
上述したように算出部32により算出された計測対象の魚の尾叉長Lと体高Hは、例えば観測日時等の予め定められた情報に関連付けられた状態で記憶装置23に格納される。
分析部33は、記憶装置23に格納されている複数の魚の尾叉長Lと体高Hと当該情報に関連付けられている情報を利用して、予め定められた分析を実行する機能を備えている。例えば、分析部33は、観測日における生簀48内の複数の魚の尾叉長Lの平均値を算出する。あるいは、分析部33は、分析対象とした特定の魚の尾叉長Lの平均値を算出する。この場合には、例えば、1秒間というような短時間に撮影された動画の複数フレームにおける分析対象の魚の画像により算出された分析対象の魚の複数の尾叉長Lの平均値が算出される。
なお、生簀48内の複数の魚の尾叉長Lの平均値を算出する場合であって魚の個体識別をしていない場合には、平均値の算出に利用する魚の尾叉長Lの値として同じ魚の値が重複利用されることが懸念される。ただ、多数の魚の尾叉長Lの平均値を算出する場合には、値を重複利用することに因る平均値の算出精度への悪影響は小さくなる。
また、分析部33は、生簀48内における魚の尾叉長Lとその魚の数との関係 (魚の尾叉長Lにおける魚体数分布)を算出してもよい。さらに、分析部33は、魚の成長を表す魚の尾叉長Lの時間的な推移を算出してもよい。
さらに、分析部33は、予め記憶装置23に格納されている体重算出用データと、算出された尾叉長Lおよび体高Hとを利用して、計測対象の魚の体重を算出する機能をも備える。体重算出用のデータは、尾叉長Lと体高Hに基づいて魚の体重を算出するデータであり、例えば、数式の態様で与えられる。この体重算出用のデータは、実測された魚の尾叉長と体高と体重に基づいて、尾叉長および体高と、体重との関係が取得され、この関係に基づいて生成されるデータである。尾叉長および体高と、体重との関係が魚の月齢や年齢により異なる場合には、体重算出用のデータは魚の月齢あるいは年齢毎に生成されて記憶装置23に格納される。この場合には、分析部33は、計測対象の魚の月齢あるいは年齢に応じた体重算出用データと、その計測対象の魚の算出された尾叉長Lおよび体高Hとに基づいて計測対象の魚の体重を算出する。
分析部33により算出された計測対象の魚の体重と、算出部32により算出された計測対象の魚の尾叉長Lおよび体高Hとは、互いに関連付けられ、さらに、予め定められた情報(例えば、撮影日時)をも関連付けられた状態で記憶装置23に格納される。表示制御部34は、例えば、入力装置25を利用して計測者がそれら算出値を表示装置26に表示させる指示を入力した場合に、その指示を受けて、記憶装置23から表示対象の情報を読み出し表示装置26に表示する機能を備えていてもよい。
以下に、情報処理装置10が撮影画像41A,41Bにおける魚の尾叉長Lと体高Hと体重を算出(計測)する動作の一例を図13を参照しつつ説明する。なお、図13は、情報処理装置10が実行する魚の尾叉長Lと体高Hと体重の算出(計測)に係る処理手順を表すフローチャートである。
例えば、計測を開始する旨の指示を受け付けると、情報処理装置10の検知部30は、撮影画像41A,41Bにおいて、計測対象の魚を検知する(ステップS101)。この計測対象の魚の検知動作は、機械学習による魚体検知用の参考データに基づいた検知動作である。あるいは、計測対象の魚の検知動作は、計測者による入力装置25を利用した入力情報に基づいた検知動作である。さらに、検知部30は、機械学習による魚体検知用の参考データに基づいた検知動作と、計測者の手入力情報に基づいた検知動作とのうち、入力装置25によって計測者により入力された選択情報に基づいた一方の検知動作によって計測対象の魚を検知してもよい。
計測対象の魚を検知した後に、検知部30は、計測対象の魚において、計測利用点Pt,Pm,Pb,Psを検知する(ステップS102)。この計測利用点Pt,Pm,Pb,Psの検知動作は、機械学習による計測利用点検知用の参考データに基づいた検知動作である。あるいは、計測利用点Pt,Pm,Pb,Psの検知動作は、計測者の手入力情報に基づいた検知動作である。あるいは、検知部30は、機械学習による計測利用点検知用の参考データに基づいた検知動作と、計測者の手入力情報に基づいた検知動作とのうち、入力装置25によって計測者により入力された選択情報に基づいた一方の検知動作によって計測利用点Pt,Pm,Pb,Psを検知してもよい。
その後、特定部31が、検知された計測利用点Pt,Pm,Pb,Psについて、例えば、カメラ40A,40B(撮影位置)間の間隔情報等を利用し、三角測量法によって座標空間における座標を特定する(ステップS103)。
そして、算出部32が、特定された座標に基づき、計測利用点Pt,Pm(口先と尾)間の間隔Lを計測対象の魚の尾叉長として算出する。また、算出部32は、計測利用点Pt,Pmを結ぶ直線Sを基準線とし、当該基準線Sに垂直な線分PsPssの長さh1と、基準線Sに垂直な線分PbPbsの長さh2とを算出する。さらに、算出部32は、算出した長さh1,h2の加算値を計測対象の魚の体高Hとして算出する(ステップS104)。
その後、分析部33が、算出された計測対象の魚の尾叉長Lと体高Hと、記憶装置23に格納されている体重算出用データとを利用して、計測対象の魚の体重を算出する(ステップS105)。
上述したように算出された計測対象の魚の尾叉長Lと体高Hと体重の計測値は、関連付けられ、さらに、予め定められた情報(例えば、撮影日時)をも関連付けられた状態で記憶装置23に格納される。
その後、情報処理装置10の制御装置22は、例えば計測者による入力装置25の操作により魚の計測動作を終了する旨の指示が入力されたか否かを判断する(ステップS106)。そして、制御装置22は、終了の指示が入力されていない場合には、ステップS101以降の動作を繰り返す。また、制御装置22は、終了の指示が入力された場合には、魚の計測動作を終了する。
第1実施形態の情報処理装置10は、検知部30によって、カメラ40A,40Bの撮影画像41A,41Bにおいて、計測対象の魚における計測利用点Pt,Pm,Pb,Psを検知する機能を備えている。また、情報処理装置10は、特定部31によって、検知された計測利用点Pt,Pm,Pb,Psの位置を表す座標空間における座標を特定する機能を備えている。さらに、情報処理装置10は、算出部32によって、計測利用点Pt,Pmを利用して計測対象の魚の尾叉長Lを算出する機能を備えている。さらに、情報処理装置10は、分析部33によって、計測利用点Pt,Pmに基づいた基準線Sと、計測利用点Pb,Psとに基づき体高Hを算出する機能を備えている。第1実施形態では、計測対象の魚の体高Hは、基準線Sに垂直な線分PsPssの長さh1と、基準線Sに垂直な線分PbPbsの長さh2とが加算されることにより算出される。このように、体高Hを算出することにより、情報処理装置10は、算出する体高Hの確からしさを高めることができる。つまり、計測対象の魚の形状は、計測利用点Pt,Pmに基づいた基準線Sに対し線対称な形状ではない。このため、基準線Sよりも背側において最も膨らんでいる部分(計測利用点Pb)と、基準線Sよりも腹側において最も膨らんでいる部分(計測利用点Psの近傍領域)とが、基準線Sに垂直な同じ垂線上に配置されているとは限らない。これにより、計測利用点Pb,Ps間を単に結んだ線分の長さを体高として算出してしまうと、魚の実際の体高から大きくずれた値を体高として算出する虞がある。これに対し、第1実施形態では、分析部33は、上述したように、計測利用点Psと基準線Sとの間の長さh1と、計測利用点Pbと基準線Sとの間の長さh2とを別々に算出し、算出した長さh1,h2の加算値を体高Hとしている。これにより、分析部33による体高の算出値は確からしさを高めることができる。
このように確からしさが高められる体高Hおよび尾叉長Lを利用して、分析部33は、計測対象の魚の体重を算出するので、体重の算出値の確からしさも高めることができる。
したがって、第1実施形態の情報処理装置10は、計測対象の魚の体高Hや体重の算出値に対する信頼性を高めることができる。
また、第1実施形態の情報処理装置10は、機械学習による魚体検知用の参考データや計測利用点の参考データに基づいて検知部30が計測対象の魚体や計測利用点Pt,Pm,Pb,Psを検知する構成を備える場合がある。この場合には、計測者が、計測対象の魚を指定するという作業や、計測利用点Pt,Pm,Pb,Psを指定するという作業を行わなくて済むので、情報処理装置10は、計測者の手間を軽減することができる。また、情報処理装置10は、魚の尾叉長Lや体重などを計測する処理の高速化を図ることができる。
<第2実施形態>
以下に、本発明に係る第2実施形態を説明する。なお、第2実施形態の説明において、第1実施形態の情報処理装置および物体計測システム(魚計測システム)を構成する構成部分と同一名称部分には同一符号を付し、その共通部分の重複説明は省略する。
第2実施形態の情報処理装置10および魚計測システムは、第1実施形態の構成に加えて、図14に表される補正部55を備えている。なお、第2実施形態の情報処理装置10は、第1実施形態と同様に、特定部31と算出部32と分析部33と表示制御部34を備えているが、図14では、それらの図示が省略されている。また、図14では、記憶装置24と入力装置25と表示装置26の図示も省略されている。
ところで、前述した第1実施形態では、魚の腹側の最も膨らんでいる部分として腹びれの付け根部分を計測利用点として検知している。しかしながら、図15に表されるように、魚の腹の膨らみは、基準状態(実線A参照)と満腹状態(点線B参照)と空腹状態(点線C参照)とで異なり、満腹状態では、魚の腹側の最も膨らんでいる部分は、腹びれの付け根部分ではなく、点Ps3に表される部分である。このため、検知部30が満腹状態の魚における腹びれの付け根部分を計測利用点Psとして検知し、当該計測利用点Psを利用して算出部32が体高Hを算出すると、算出された体高Hは、実際の満腹状態の魚の体高からずれた値となってしまう。また、分析部33により算出される体重は、検知された魚体が満腹状態である場合には、実際の体重よりも軽い値となることが懸念される。
また、基準状態と空腹状態では、魚の腹側の最も膨らんでいる部分は腹びれの付け根部分と言えるが、空腹状態では基準状態よりも腹が凹み、また、体重は軽くなっている。腹びれの付け根部分が計測利用点Psとして検知され、当該計測利用点Psを利用して魚体の体高Hおよび体重が算出されると、空腹状態における体重は基準状態よりも軽いのにも拘わらず、基準状態と同様な値が算出されることになる。なお、図15において、基準状態における腹びれの付け根部分は点Ps2に表される部分であり、空腹状態における腹びれの付け根部分は点Ps1に表される部分である。
第2実施形態の情報処理装置10は、上述したような事態を考慮した構成を備えている。つまり、補正部55は、計測対象の魚の腹の形状(膨らみ)が基準状態から外れている場合には、検知部30により検出された腹側の計測利用点Psを次のように補正する機能を備えている。すなわち、機械学習により生成された魚体の基準状態の参考データが記憶装置23に記憶されている。補正部55は、その魚体の基準状態の参考データを参照することによって、計測対象の魚体の腹の形状(膨らみ)が基準状態から許容範囲を超えて外れている状態であると判断した場合には、計測利用点Psを補正する必要があると判断する。
そして、補正部55は、腹側の計測利用点Psを予め与えられた補正用データに従って補正する。補正用データは、計測対象の魚体の腹の形状(膨らみ)に応じて計測利用点Psを補正するために利用するデータである。具体例を挙げると、補正用データは次のようなデータを含む。補正用データに含まれるデータの一つは、腹の形状が基準状態よりも膨らんでいる状態(満腹状態)の場合に、計測利用点Psを腹の最も膨らんでいる部分に補正するデータである。補正用データに含まれる別のデータの一つは、腹の形状が基準状態よりも凹んでいる状態(空腹状態)の場合に、計測利用点Psを腹の最も凹んでいる部分に補正するデータである。このような補正用データは、例えば機械学習により生成される。
このような補正用データを利用する場合には、補正部55は、検知された魚体が満腹状態である場合には計測利用点Psを腹の最も膨らんでいる部分に補正し、検知された魚体が空腹状態である場合には計測利用点Psを腹の最も凹んでいる部分に補正する。
別の補正用データの例を挙げると、例えば、補正用データは次のようなデータを含む。補正用データに含まれるデータの一つは、腹の形状が基準状態よりも膨らんでいる状態(満腹状態)の場合に、腹びれの付け根部分と腹の最も膨らんでいる部分との間の適宜に設定された位置(例えば中間部分)に計測利用点Psを補正するデータである。補正用データに含まれる別のデータの一つは、腹の形状が基準状態よりも凹んでいる状態(空腹状態)の場合に、腹びれの付け根部分と腹の最も凹んでいる部分との間の適宜に設定された位置(例えば中間部分)に計測利用点Psを補正するデータである。このような補正用データは、例えば機械学習により生成される。
このような補正用データを利用する場合には、補正部55は、検知された魚体が満腹状態である場合には、腹びれの付け根部分と腹の最も膨らんでいる部分との間の適宜に設定された位置(例えば中間部分)に計測利用点Psを補正する。また、補正部55は、検知された魚体が空腹状態である場合には、腹びれの付け根部分と腹の最も凹んでいる部分との間の適宜に設定された位置(例えば中間部分)に計測利用点Psを補正する。
算出部32は、補正後の計測利用点Psに基づいた基準線Sに垂直な線分PsPssの長さh1と、計測利用点Pbに基づいた基準線Sに垂直な線分PbPbsの長さh2とを加算し、加算値を体高Hとして算出する。
第2実施形態の情報処理装置10における上記以外の構成は、第1実施形態と同様である。
第2実施形態の情報処理装置10は、第1実施形態と同様の効果を得ることができる。さらに、情報処理装置10は、魚の腹の形状に応じて計測利用点Psを補正する構成を備えている。これにより、情報処理装置10は、魚の実態に合った体高Hや体重を算出できる。
<第3実施形態>
以下に、本発明に係る第3実施形態を説明する。なお、第3実施形態の説明において、第1実施形態の情報処理装置および物体計測システム(魚計測システム)を構成する構成部分と同一名称部分には同一符号を付し、その共通部分の重複説明は省略する。
第3実施形態の情報処理装置10および魚計測システムは、第1または第2の実施形態の構成に加えて、図16に表される推定部56を備えている。なお、第3実施形態の情報処理装置10は、第1または第2の実施形態と同様に、特定部31と算出部32と分析部33と表示制御部34などを備えているが、図16では、それらの図示が省略されている。また、図16では、記憶装置24と入力装置25と表示装置26の図示も省略されている。
ところで、魚は、動く速度が速い場合などにおいて、腹びれを体に付けて(閉じて)いる場合があり、腹びれの付け根部分である計測利用点Psを検知しにくい場合がある。第3実施形態の情報処理装置10は、そのように計測利用点Psを検知しにくい事態を考慮した構成を備えている。つまり、検知部30は、計測対象の魚の腹びれが不明瞭であるために計測利用点Psを検知できないと判断する場合がある。この場合に、推定部56は、予め定められたルールに従って腹びれの付け根部分の位置を推定することにより、計測利用点Psを検知する機能を備えている。例えば、計測対象の魚の種類によって、腹びれの付け根部分の位置と胸びれの位置とに一定の関係がある場合には、その関係を利用して、胸びれの位置から腹びれの付け根部分の位置を推定するルールが求められ例えば記憶装置23に格納される。推定部56は、そのようなルールと、胸びれの位置とを利用して、計測利用点Psを推定する。
推定部56が計測利用点Psを推定した場合には、算出部32は、その推定された計測利用点Psを利用して、基準線Sに垂直な線分PsPssの長さh1を算出し、当該長さh1を利用して、計測対象の魚の体高Hを算出する。
第3実施形態の情報処理装置10は、第1または第2の実施形態と同様の構成を備えることにより、第1または第2の実施形態と同様の効果を得ることができる。さらに、第3実施形態の情報処理装置10は、推定部56を備えることにより、計測利用点Psが検知できないために計測対象の魚の体高Hを算出できず、さらに、体重も算出できないという事態を削減できるので、計測数の増加を図ることが容易となる。
さらに、そのように計測数が増加することにより、分析部33が分析に用いるサンプル数が増加することから、分析部33が統計処理により算出する算出値の信頼性を高めることができる。
なお、計測利用点Psを推定する際に利用するルールは、前述したような胸びれと腹びれの位置関係に基づいたルールに限定されず、例えば、口先の位置と腹びれの付け根部分の位置とに一定の関係がある場合には、その関係を利用したルールであってもよい。そのように胸びれの位置を利用する場合には、胸びれの位置の情報は、計測者が手入力により情報処理装置10に与えられてもよいし、例えば機械学習による参考データを用いて検知部30が検知してもよい。
<その他の実施形態>
なお、本発明は第1~第3の実施形態に限定されることなく、様々な実施の形態を採り得る。例えば、第1~第3の実施形態では、情報処理装置10に分析部33が備えられているが、算出部32が算出した尾叉長Lと体高Hの情報の分析は、情報処理装置10とは別の情報処理装置により実行されてもよく、この場合には、分析部33は省略されてもよい。
また、第1~第3の実施形態では、基準線Sは、口先と尾の計測利用点Pm,Pt間の直線であるが、基準線Sは、例えば、計測利用点Pm,Pt間を魚体の膨らみを考慮して結んだ曲線であってもよい。
さらに、第1~第3の実施形態において、情報処理装置10が、検知部30による検知処理の開始前などの適宜なタイミングで、撮影画像における水の濁りを軽減する画像処理や、水の揺らぎに因る魚体の歪みを補正する画像処理を行ってもよい。また、情報処理装置10は、魚の水深や明るさ等の撮影条件を考慮して撮影画像を補正する画像処理を行ってもよい。このように、情報処理装置10が、撮影環境を考慮して撮影画像を画像処理(画像補正)することにより、検知部30による検知処理の信頼性を高めることができる。
さらに、第1~第3の実施形態では、計測対象の物体として魚を例にして説明しているが、第1~第3の実施形態で説明した構成を持つ情報処理装置10は、他の物体の計測にも適用可能である。特に、第1~第3の実施形態で説明した構成を持つ情報処理装置10は、計測対象の物体が当該物体に設定された基準線に対して線対称な形状を持たない場合において、基準線に直交する方向の物体の計測対象の長さを適切に算出することができる。
さらに、図17には、本発明に係るその他の実施形態の情報処理装置の構成が簡略化して表されている。図17における情報処理装置60は、機能部として、検知部61と算出部62を備える。検知部61は、計測対象の物体が撮影されている撮影画像中における物体画像に設定された基準線で物体画像を区分した場合に物体画像における基準線の両側の区分領域のそれぞれにおいて、物体の予め定められた長さ計測に利用する部分を計測利用点として検知する。
算出部62は、区分領域のそれぞれにおいて、計測利用点を通り、かつ、基準線に垂直な垂線と基準線との交点と、計測利用点との間の線分の長さを算出する。さらに、算出部62は、計測対象の物体の区分領域のそれぞれにおいて算出した線分の長さを加算することにより、物体における計測対象の長さを算出する。
情報処理装置60は、上記のような構成を備えることにより、撮影画像に基づいて計測対象の物体の長さなどを計測した計測値の確からしさを高めることができる。このような情報処理装置60は、図18に表されるように、計測対象の物体を撮影する撮影装置71と共に、物体計測システム70を構成する。
以上、上述した実施形態を模範的な例として本発明を説明した。しかしながら、本発明は、上述した実施形態には限定されない。即ち、本発明は、本発明のスコープ内において、当業者が理解し得る様々な態様を適用することができる。
この出願は、2018年3月9日に出願された日本出願特願2018-043236を基礎とする優先権を主張し、その開示の全てをここに取り込む。
10,60 情報処理装置
30,61 検知部
32,62 算出部
33 分析部
55 補正部
56 推定部

Claims (10)

  1. 計測対象の物体を互いに異なる位置から同時に撮影した複数の撮影画像のそれぞれにおいて前記物体の画像である物体画像に設定された基準線で前記物体画像を区分した場合に前記物体画像における前記基準線の両側の区分領域のそれぞれにおいて、前記物体の予め定められた長さ計測に利用する部分を計測利用点として検知する検知手段と、
    前記複数の撮影画像を用いて、予め定められた座標空間における前記計測利用点の座標を算出する特定手段と、
    算出された前記計測利用点の座標と、前記座標空間における前記基準線とに基づいて、前記区分領域のそれぞれにおいて、前記計測利用点を通り、かつ、前記基準線に垂直な垂線と前記基準線との交点と、前記計測利用点との間の線分の長さを算出し、前記区分領域のそれぞれにおいて算出した前記線分の長さを加算することにより前記物体における計測対象の長さを算出する算出手段と
    を備える情報処理装置。
  2. 前記検知手段が検知する前記計測利用点は、前記物体画像における前記区分領域のそれぞれにおいて、前記基準線に直交する方向に張り出している部分である請求項1に記載の情報処理装置。
  3. 前記検知手段は、前記基準線に沿う方向における前記物体画像の端部を、機械学習による参考データを利用し検知し、検知した端部間を結ぶ線を前記基準線として設定する機能をさらに備えている請求項1又は請求項2に記載の情報処理装置。
  4. 前記算出手段は、前記検知手段により設定された前記基準線の両端部間の長さをも前記物体における計測対象の長さとして算出する機能をさらに備えている請求項3に記載の情報処理装置。
  5. 前記算出手段により算出された前記計測対象の長さと、当該長さにより前記物体の重さを算出する重さ算出用データとを利用して、前記物体の重さを算出する分析手段をさらに備える請求項1乃至請求項4の何れか一つに記載の情報処理装置。
  6. 前記物体が設定の基準状態とは異なる状態である場合に、前記検知手段により検知された前記計測利用点を予め与えられている補正用データを利用して補正する補正手段をさらに備える請求項1乃至請求項5の何れか一つに記載の情報処理装置。
  7. 前記検知手段が前記計測利用点を検知できない場合に、前記計測利用点を予め与えられたルールに従って推定する推定手段をさらに備える請求項1乃至請求項6の何れか一つに記載の情報処理装置。
  8. 計測対象の物体を撮影する撮影装置と、
    請求項1乃至請求項7の何れか一つに記載の情報処理装置と
    を備える物体計測システム。
  9. コンピュータによって、
    計測対象の物体を互いに異なる位置から同時に撮影した複数の撮影画像のそれぞれにおいて前記物体の画像である物体画像に設定された基準線で前記物体画像を区分した場合に前記物体画像における前記基準線の両側の区分領域のそれぞれにおいて、前記物体の予め定められた長さ計測に利用する部分を計測利用点として検知し、
    前記複数の撮影画像を用いて、予め定められた座標空間における前記計測利用点の座標を算出し、
    算出された前記計測利用点の座標と、前記座標空間における前記基準線とに基づいて、前記区分領域のそれぞれにおいて、前記計測利用点を通り、かつ、前記基準線に垂直な垂線と前記基準線との交点と、前記計測利用点との間の線分の長さを算出し、
    前記区分領域のそれぞれにおいて算出した前記線分の長さを加算することにより前記物体における計測対象の長さを算出する
    物体計測方法。
  10. 計測対象の物体を互いに異なる位置から同時に撮影した複数の撮影画像のそれぞれにおいて前記物体の画像である物体画像に設定された基準線で前記物体画像を区分した場合に前記物体画像における前記基準線の両側の区分領域のそれぞれにおいて、前記物体の予め定められた長さ計測に利用する部分を計測利用点として検知する処理と、
    前記複数の撮影画像を用いて、予め定められた座標空間における前記計測利用点の座標を算出する処理と、
    算出された前記計測利用点の座標と、前記座標空間における前記基準線とに基づいて、前記区分領域のそれぞれにおいて、前記計測利用点を通り、かつ、前記基準線に垂直な垂線と前記基準線との交点と、前記計測利用点との間の線分の長さを算出する処理と、
    前記区分領域のそれぞれにおいて算出した前記線分の長さを加算することにより前記物体における計測対象の長さを算出する処理と
    をコンピュータに実行させるコンピュータプログラム。
JP2020505103A 2018-03-09 2019-03-07 情報処理装置、物体計測システム、物体計測方法およびコンピュータプログラム Active JP7001145B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018043236 2018-03-09
JP2018043236 2018-03-09
PCT/JP2019/009045 WO2019172363A1 (ja) 2018-03-09 2019-03-07 情報処理装置、物体計測システム、物体計測方法およびプログラム記憶媒体

Publications (2)

Publication Number Publication Date
JPWO2019172363A1 JPWO2019172363A1 (ja) 2021-02-04
JP7001145B2 true JP7001145B2 (ja) 2022-01-19

Family

ID=67845743

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020505103A Active JP7001145B2 (ja) 2018-03-09 2019-03-07 情報処理装置、物体計測システム、物体計測方法およびコンピュータプログラム

Country Status (3)

Country Link
US (1) US11328439B2 (ja)
JP (1) JP7001145B2 (ja)
WO (1) WO2019172363A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7480984B2 (ja) 2020-03-24 2024-05-10 国立大学法人愛媛大学 個体検出システム、撮影ユニット、個体検出方法、およびコンピュータプログラム
CN111696114A (zh) * 2020-04-13 2020-09-22 浙江大学 一种基于水下成像分析南美白对虾饥饿程度识别方法与装置
CN111754527B (zh) * 2020-06-24 2022-01-04 西藏自治区农牧科学院水产科学研究所 一种基于三维扫描模型的鱼类表型自动提取方法
NO347281B1 (en) * 2020-10-05 2023-08-21 Fishency Innovation As Generating three dimensional skeleton representations of aquatic animals using machine learning
JP7155375B1 (ja) 2021-10-13 2022-10-18 マルハニチロ株式会社 測定システム、情報処理装置、情報処理方法およびプログラム
US20230380399A1 (en) * 2022-05-31 2023-11-30 Navico Holding As Livewell operation and control for a watercraft

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000215319A (ja) 1999-01-22 2000-08-04 Canon Inc 画像抽出方法及び装置並びに記憶媒体
WO2009008733A1 (en) 2007-07-09 2009-01-15 Feed Control Norway As Means and method for average weight determination and appetite feeding
WO2016092646A1 (ja) 2014-12-10 2016-06-16 株式会社ニレコ 魚種判別装置および魚種判別方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000125319A (ja) * 1998-10-15 2000-04-28 Matsushita Electric Ind Co Ltd ディジタル信号処理回路
JP2003250382A (ja) 2002-02-25 2003-09-09 Matsushita Electric Works Ltd 水棲生物の成育状態監視方法及びその装置
JP5875917B2 (ja) 2012-03-26 2016-03-02 一般財団法人電力中央研究所 移動体の画像判別装置および移動体の画像判別方法
NO20160880A1 (en) * 2016-05-24 2017-11-27 Itecsolutions Systems & Services As Arrangement and method for measuring the biological mass of fish and use of the arrangement
US10872409B2 (en) * 2018-02-07 2020-12-22 Analogic Corporation Visual augmentation of regions within images

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000215319A (ja) 1999-01-22 2000-08-04 Canon Inc 画像抽出方法及び装置並びに記憶媒体
WO2009008733A1 (en) 2007-07-09 2009-01-15 Feed Control Norway As Means and method for average weight determination and appetite feeding
WO2016092646A1 (ja) 2014-12-10 2016-06-16 株式会社ニレコ 魚種判別装置および魚種判別方法

Also Published As

Publication number Publication date
US20200394811A1 (en) 2020-12-17
US11328439B2 (en) 2022-05-10
WO2019172363A1 (ja) 2019-09-12
JPWO2019172363A1 (ja) 2021-02-04

Similar Documents

Publication Publication Date Title
JP7004094B2 (ja) 魚体長さ測定システム、魚体長さ測定方法および魚体長さ測定プログラム
JP7001145B2 (ja) 情報処理装置、物体計測システム、物体計測方法およびコンピュータプログラム
JP7124865B2 (ja) 情報処理装置、物体計測システム、物体計測方法、コンピュータプログラムおよび情報提供システム
JP6981531B2 (ja) 物体同定装置、物体同定システム、物体同定方法およびコンピュータプログラム
JP6816773B2 (ja) 情報処理装置、情報処理方法およびコンピュータプログラム
JP6849081B2 (ja) 情報処理装置、計数システム、計数方法およびコンピュータプログラム
JP6879375B2 (ja) 情報処理装置、長さ測定システム、長さ測定方法およびコンピュータプログラム
JP2019194573A (ja) 体重推定装置
JP2019045989A (ja) 情報処理装置、情報処理方法およびコンピュータプログラム
JPWO2018061928A1 (ja) 情報処理装置、計数システム、計数方法およびコンピュータプログラム
JP4860431B2 (ja) 画像生成装置
JP7210862B2 (ja) 重量推定装置及びプログラム
CN115244360A (zh) 计算方法
JPWO2018061926A1 (ja) 計数システムおよび計数方法
JP7057086B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP7343237B2 (ja) 追跡方法
JP2015019270A5 (ja)
WO2021130950A1 (ja) 水中生物撮影支援装置、水中生物撮影支援方法および記憶媒体
TWI423786B (zh) 人體姿勢重心定位裝置
JP7323234B2 (ja) ガイド方法
KR20200010247A (ko) 화상 처리 장치, 화상 처리 프로그램 및 화상 처리 방법
CN115842905B (zh) 投射方法以及投射系统
JP7463133B2 (ja) 面積計測装置、面積計測方法、及びプログラム
KR20230122371A (ko) 축산물 등급 평가 장치 및 방법

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200727

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200727

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210330

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210528

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20211021

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211124

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211207

R150 Certificate of patent or registration of utility model

Ref document number: 7001145

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150