JPWO2018061927A1 - 情報処理装置、情報処理方法およびプログラム記憶媒体 - Google Patents

情報処理装置、情報処理方法およびプログラム記憶媒体 Download PDF

Info

Publication number
JPWO2018061927A1
JPWO2018061927A1 JP2018542457A JP2018542457A JPWO2018061927A1 JP WO2018061927 A1 JPWO2018061927 A1 JP WO2018061927A1 JP 2018542457 A JP2018542457 A JP 2018542457A JP 2018542457 A JP2018542457 A JP 2018542457A JP WO2018061927 A1 JPWO2018061927 A1 JP WO2018061927A1
Authority
JP
Japan
Prior art keywords
image
information processing
processing apparatus
photographed
fish
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018542457A
Other languages
English (en)
Other versions
JP6816773B2 (ja
Inventor
丈晴 北川
丈晴 北川
翔平 丸山
翔平 丸山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2018061927A1 publication Critical patent/JPWO2018061927A1/ja
Application granted granted Critical
Publication of JP6816773B2 publication Critical patent/JP6816773B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01KANIMAL HUSBANDRY; CARE OF BIRDS, FISHES, INSECTS; FISHING; REARING OR BREEDING ANIMALS, NOT OTHERWISE PROVIDED FOR; NEW BREEDS OF ANIMALS
    • A01K61/00Culture of aquatic animals
    • A01K61/90Sorting, grading, counting or marking live aquatic animals, e.g. sex determination
    • A01K61/95Sorting, grading, counting or marking live aquatic animals, e.g. sex determination specially adapted for fish
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/02Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/03Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring coordinates of points
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/02Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/04Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness specially adapted for measuring length or width of objects while moving
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/08Measuring arrangements characterised by the use of optical techniques for measuring diameters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/001Industrial image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30128Food products
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30181Earth observation
    • G06T2207/30188Vegetation; Agriculture

Abstract

撮影装置による撮影画像を利用して物体の数を計測する場合に、物体の計数の精度を高める技術を提供するために、計数システム1は、複数の撮影装置2,3と、情報処理装置4とを備える。複数の撮影装置2,3は、予め定められた撮影空間内における高さ方向に互いに間隔を介して配設される。情報処理装置4は、撮影装置2,3による撮影画像に基づいて、撮影空間内における計測対象の物体の数を計測する。

Description

本発明は、測定対象の物体を撮影した撮影画像から測定対象の物体に関する情報を検知する技術に関する。
魚の養殖技術の向上のために、養殖している魚の成長を観測することが行われている。特許文献1には、魚の観測に関わる技術が開示されている。この特許文献1における技術では、水槽の上方側(あるいは底側)と横側から撮影された魚の背側(あるいは腹側)の撮影画像と、頭側の正面の撮影画像とに基づいて、魚の頭、胴体、尾ひれ等の部位の形状や大きさが部位毎に推定される。その魚の部位毎の形状や大きさの推定は、各部位毎に与えられている複数のテンプレート画像を利用して行われる。すなわち、各部位毎の撮影画像がそれぞれ各部位毎のテンプレート画像に照合され、撮影画像に合うテンプレート画像中の魚の部位における大きさ等の既知の情報に基づいて、魚の各部位毎の大きさ等が推定される。
特許文献2には、水中の魚を動画カメラと静止画カメラによって撮影し、撮影された動画および静止画に基づいて、魚影を検知する技術が開示されている。また、特許文献2には、画像サイズ(画素数)によって、魚のサイズを推定する構成が示されている。
特開2003−250382号公報 特開2013−201714号公報
特許文献1に記載されている技術では、テンプレート画像中の魚の部位における既知の大きさの情報に基づいて魚の部位の大きさが推定されている。つまり、特許文献1における技術では、テンプレート画像中の魚の部位の大きさが測定対象の魚の部位の大きさとして検知されているにすぎず、測定対象の魚の部位の大きさを測定していないので、大きさの検知精度を高めにくいという問題が生じる。
特許文献2には、魚影サイズとして画像サイズ(画素数)を検知する構成は示されているものの、魚の実際の大きさを検知する構成は開示されていない。
本発明は上記課題を解決するために考え出された。すなわち、本発明の主な目的は、撮影画像に基づいて測定対象の物体に関する情報を容易に、かつ、精度良く検知できる技術を提供することにある。
上記目的を達成するために、本発明の情報処理装置は、
測定対象の物体の特徴が表されている情報に基づいて、前記測定対象の物体が撮影されている撮影画像において前記物体が映っている画像領域を調査範囲として設定する設定部と、
設定された調査範囲内で前記物体に関する予め定められた処理を行う検知部と
を備える。
本発明の情報処理方法は、
測定対象の物体の特徴が表されている情報に基づいて、前記測定対象の物体が撮影されている撮影画像において前記物体が映っている画像領域を調査範囲として設定し、
設定された調査範囲内で前記物体に関する予め定められた処理を行う。
本発明のプログラム記憶媒体は、
測定対象の物体の特徴が表されている情報に基づいて、前記測定対象の物体が撮影されている撮影画像において前記物体が映っている画像領域を調査範囲として設定する処理と、
設定された調査範囲内で前記物体に関する予め定められた処理を行う処理と
をコンピュータに実行させるコンピュータプログラムを記憶する。
なお、本発明の主な前記目的は、本発明の情報処理装置に対応する本発明の情報処理方法によっても達成される。また、本発明の主な前記目的は、本発明の情報処理装置と本発明の情報処理方法に対応する本発明のコンピュータプログラムおよび当該コンピュータプログラムを記憶するプログラム記憶媒体によっても達成される。
本発明によれば、撮影画像に基づいて測定対象の物体に関する情報を容易に、かつ、精度良く検知できる。
第1実施形態の情報処理装置の構成を簡略化して表すブロック図である。 第1実施形態の情報処理装置を備える長さ測定システムの構成を簡略化して表すブロック図である。 第2実施形態の情報処理装置の構成を簡略化して表すブロック図である。 第2実施形態の情報処理装置に撮影画像を提供する撮影装置(カメラ)を支持する支持部材を説明する図である。 第2実施形態の情報処理装置に撮影画像を提供する撮影装置(カメラ)を支持する支持部材におけるカメラの搭載例を説明する図である。 第2実施形態において、カメラが測定対象の物体である魚を撮影する態様を説明する図である。 測定対象の物体である魚を撮影した撮影画像を表示装置に表示する表示態様の一例を説明する図である。 第2実施形態の情報処理装置の処理で使用する調査範囲の一例を説明する図である。 魚の長さ測定に利用する特徴部位の参考データの例を表す図である。 第2実施形態では参考データとして採用されない魚の撮影画像の例を説明する図である。 第2実施形態の情報処理装置が測定対象の魚の長さを測定する処理を説明する図である。 さらに、第2実施形態における測定対象の魚の長さを測定する処理を説明する図である。 第2実施形態の情報処理装置における長さを測定する処理の手順を表すフローチャートである。 本発明に係る第3実施形態の情報処理装置の構成において特徴的な部分を抜き出して表すブロック図である。 第3実施形態の情報処理装置が撮影画像に調査範囲を確定する処理の一例を説明する図である。 第3実施形態において、調査範囲の確定に利用する参考データの例を表す図である。 さらに、調査範囲の確定に利用する参考データの例を表す図である。 第3実施形態の情報処理装置が撮影画像において確定した調査範囲の一例を表す図である。 参考データを教師付き機械学習により作成する場合における教師データの取得手法の一例を説明する図である。 測定対象の物体である魚の頭を検知する処理で利用する参考データの例を表す図である。 測定対象の物体である魚の頭を検知する処理で利用する参考データのさらに別の例を表す図である。 測定対象の物体である魚の尾を検知する処理で利用する参考データの例を表す図である。 測定対象の物体である魚の尾を検知する処理で利用する参考データのさらに別の例を表す図である。 本発明に係る情報処理装置のその他の実施形態の構成を簡略化して表すブロック図である。
本発明に係る情報処理装置の実施形態を説明する前に、本発明が有効に適用される情報処理装置を第1実施形態および第2実施形態として説明し、その後に、本発明に係る情報処理装置の実施形態である第3実施形態の情報処理装置を説明する。
<第1実施形態>
図1は、第1実施形態の情報処理装置の構成を簡略化して表すブロック図である。この情報処理装置1は、図2に表されるような長さ測定システム10に組み込まれ、測定対象の物体の長さを算出する機能を備えている。長さ測定システム10は、情報処理装置1に加えて、複数の撮影装置11A,11Bを備えている。撮影装置11A,11Bは、間隔を介して並設され、測定対象の物体を共通に撮影する装置である。撮影装置11A,11Bにより撮影された撮影画像は、有線通信あるいは無線通信によって情報処理装置1に提供される。又は、撮影装置11A,11Bにより撮影された撮影画像は、撮影装置11A,11Bにおいて可搬型記憶媒体(例えば、SD(Secure Digital)カード)に記憶され、当該可搬型記憶媒体から情報処理装置1に読み込まれてもよい。
情報処理装置1は、図1に表されるように、検知部2と、特定部3と、算出部4とを備えている。検知部2は、測定対象の物体が撮影されている撮影画像から、測定対象の物体における予め定められた特徴を持つ対を成す特徴部位をそれぞれ検知する機能を備えている。
特定部3は、その検知された特徴部位の位置を表す座標空間における座標を特定する機能を備えている。その座標を特定する処理では、特定部3は、測定対象の物体を互いに異なる位置から撮影した複数の撮影画像における特徴部位が表示されている表示位置情報を利用する。また、特定部3は、物体が撮影されている複数の撮影画像をそれぞれ撮影した撮影位置間の間隔を表す間隔情報をも利用する。
算出部4は、特定された特徴部位の位置の座標に基づいて、対を成す特徴部位間の長さを算出する機能を備えている。
第1実施形態の情報処理装置1は、測定対象の物体を互いに異なる位置から撮影した複数の撮影画像から、測定対象の物体における予め定められた特徴を持つ対を成す特徴部位をそれぞれ検知する。そして、情報処理装置1は、それら検知した特徴部位の位置を表す座標空間における座標を特定し、当該特定した特徴部位の位置の座標に基づいて、対を成す特徴部位間の長さを算出する。情報処理装置1は、そのような処理によって、測定対象の物体における対を成す特徴部位間の長さを測定することができる。
すなわち、情報処理装置1は、測定対象の物体が撮影されている撮影画像から、長さの測定に利用する対を成す特徴部位を検知する機能を備えている。このため、測定対象の物体の長さを測定する測定者は、測定対象の物体が撮影されている撮影画像から、長さの測定に利用する対を成す特徴部位を見つけ出すという作業を行う必要がない。また、測定者は、見つけ出した特徴部位の位置の情報を情報処理装置1に入力するという作業を行う必要もない。このように、第1実施形態の情報処理装置1は、測定対象の物体の長さを測定する測定者の手間を軽減することができる。
その上、情報処理装置1は、画像から検知した特徴部位における座標空間における位置の座標を特定し、当該座標を利用して測定対象の物体の長さを算出する。このように、情報処理装置1は、座標空間における位置の座標に基づいて、測定対象の物体の長さを算出するので、長さの測定の精度を高めることができる。すなわち、第1実施形態の情報処理装置1は、撮影画像に基づいて測定対象の物体の長さを容易に、かつ、精度良く検知できるという効果を得ることができる。なお、図2の例では、長さ測定システム10は、複数の撮影装置11A,11Bを備えているが、長さ測定システム10を構成する撮影装置は、1台であってもよい。
<第2実施形態>
以下に、第2実施形態を説明する。
図3は、第2実施形態の情報処理装置の構成を簡略化して表すブロック図である。第2実施形態では、情報処理装置20は、図4Aに表されるような複数(2台)のカメラ40A,40Bによって撮影された測定対象の物体である魚の撮影画像から、魚の長さを算出する機能を備えている。この情報処理装置20は、カメラ40A,40Bと共に、長さ測定システムを構成する。
第2実施形態では、カメラ40A,40Bは、動画を撮影する機能を備えている撮影装置であるが、動画撮影機能を持たずに例えば静止画を設定の時間間隔毎に断続的に撮影する撮影装置をカメラ40A,40Bとして採用してもよい。
ここでは、カメラ40A,40Bは、図4Aに表されるような支持部材42に支持固定されることにより、図4Bに表されるように間隔を介して並設されている状態で、魚を撮影する。支持部材42は、伸縮棒43と、取り付け棒44と、取り付け具45A,45Bとを有して構成されている。この例では、伸縮棒43は、伸縮自在な棒部材であり、さらに、伸縮可能な長さ範囲内における使用に適切な長さで長さを固定できる構成を備えている。取り付け棒44は、例えばアルミニウム等の金属材料により構成されており、伸縮棒43に直交するように接合されている。取り付け棒44には、伸縮棒43との接合部分を中心にして対称となる部位にそれぞれ取り付け具45A,45Bが固定されている。取り付け具45A,45Bは、カメラ40A,40Bを搭載する搭載面46A,46Bを備え、当該搭載面46A,46Bに搭載されたカメラ40A,40Bを例えば螺子等により搭載面46A,46Bにがたつきなく固定する構成が設けられている。
カメラ40A,40Bは、上述したような構成を持つ支持部材42に固定されることにより、予め設定された間隔を介して並設されている状態を維持することができる。また、第2実施形態では、カメラ40A,40Bに設けられているレンズが同じ方向を向き、かつ、レンズの光軸が平行となるように、カメラ40A,40Bは支持部材42に固定される。なお、カメラ40A,40Bを支持固定する支持部材は、図4A等に表される支持部材42に限定されない。例えば、カメラ40A,40Bを支持固定する支持部材は、支持部材42における伸縮棒43に代えて、1本あるいは複数本のロープを利用し、当該ロープによって取り付け棒44や取り付け具45A,45Bを吊下げる構成であってもよい。
カメラ40A,40Bは、支持部材42に固定されている状態で、例えば図5に表されるように魚が養殖されている生簀48に進入し、魚の観測(換言すれば、測定対象の物体である魚の撮影)に適切と判断された水深およびレンズの向きで配設される。なお、生簀48に進入させた支持部材42(カメラ40A,40B)を適宜な水深およびレンズの向きで配設固定する手法には様々な手法が考えられ、ここでは、何れの手法を採用してもよく、その説明は省略する。また、カメラ40A,40Bのキャリブレーションは、生簀48の環境や測定対象の魚の種類等を考慮した適宜なキャリブレーション手法によって行われる。ここでは、そのキャリブレーション手法の説明は省略する。
さらに、カメラ40A,40Bによる撮影を開始する手法および撮影を停止する手法は、カメラ40A,40Bの性能や生簀48の環境などを考慮した適宜な手法が採用される。例えば、魚の観測者(測定者)が、カメラ40A,40Bを生簀48に進入させる前に手動により撮影を開始させ、また、カメラ40A,40Bを生簀48から退出させた後に手動により撮影を停止させる。また、カメラ40A,40Bが無線通信あるいは有線通信の機能を備えている場合には、撮影開始と撮影停止を制御する情報を送信できる操作装置と、カメラ40A,40Bとを接続する。そして、観測者による操作装置の操作により、水中のカメラ40A,40Bの撮影開始と撮影停止が制御されてもよい。
また、カメラ40Aとカメラ40Bの一方又は両方の撮影中の画像をカメラ40A,40Bから有線通信あるいは無線通信により受信可能なモニタ装置が用いられてもよい。この場合には、観測者は、モニタ装置により撮影中の画像を見ることが可能となる。これにより、例えば、観測者は、撮影中の画像を見ながら、カメラ40A,40Bの撮影方向や水深を変更することが可能となる。なお、モニタ機能を備えた携帯端末がモニタ装置として用いられてもよい。
ところで、情報処理装置20は、魚の長さを算出する処理において、同時間に撮影されたカメラ40Aの撮影画像とカメラ40Bの撮影画像とを用いる。このことを考慮し、同時間に撮影されたカメラ40Aによる撮影画像とカメラ40Bによる撮影画像とを得やすくするために、撮影中に、時間合わせに用いる目印となる変化をもカメラ40A,40Bに撮影させることが好ましい。例えば、時間合わせに用いる目印として、自動制御あるいは観測者の手動によって短時間発光する光を利用することとし、カメラ40A,40Bがその光を撮影するようにしてもよい。これにより、カメラ40A,40Bによる撮影画像に撮影されたその光に基づき、カメラ40Aによる撮影画像と、カメラ40Bによる撮影画像との時間合わせ(同期)を行うことが容易となる。
上述したようなカメラ40A,40Bにより撮影された撮影画像は、有線通信あるいは無線通信によって情報処理装置20に取り込まれてもよいし、可搬型記憶媒体に格納された後に当該可搬型記憶媒体から情報処理装置20に取り込まれてもよい。
情報処理装置20は、図3に表されるように、概略すると、制御装置22と、記憶装置23とを備えている。また、情報処理装置20は、例えば観測者の操作により情報を情報処理装置20に入力する入力装置(例えば、キーボードやマウス)25と、情報を表示する表示装置26に接続されている。さらに、情報処理装置20は、当該情報処理装置20とは別体の外付けの記憶装置24に接続されていてもよい。
記憶装置23は、各種データやコンピュータプログラム(以下、プログラムとも記す)を記憶する機能を有し、例えば、ハードディスク装置や半導体メモリ等の記憶媒体により実現される。情報処理装置20に備えられる記憶装置23は一つには限定されず、複数種の記憶装置が情報処理装置20に備えられていてもよく、この場合には、複数の記憶装置を総称して記憶装置23と記す。また、記憶装置24も、記憶装置23と同様に、各種データやコンピュータプログラムを記憶する機能を有し、例えば、ハードディスク装置や半導体メモリ等の記憶媒体により実現される。なお、情報処理装置20が記憶装置24に接続されている場合には、記憶装置24には適宜な情報が格納される。また、この場合には、情報処理装置20は、適宜、記憶装置24に情報を書き込む処理および読み出す処理を実行するが、以下の説明では、記憶装置24に関する説明を省略する。
第2実施形態では、記憶装置23には、カメラ40A,40Bによる撮影画像が、撮影したカメラを表す情報や、撮影時間の情報などの撮影状況に関わる情報と関連付けられた状態で格納される。
制御装置22は、例えば、CPU(Central Processing Unit)により構成される。制御装置22は、例えばCPUが記憶装置23に格納されているコンピュータプログラムを実行することにより、次のような機能を有することができる。すなわち、制御装置22は、機能部として、検知部30と、特定部31と、算出部32と、分析部33と、表示制御部34とを備えている。
表示制御部34は、表示装置26の表示動作を制御する機能を備えている。例えば、表示制御部34は、入力装置25から、カメラ40A,40Bの撮影画像を再生する要求を受け取った場合に、記憶装置23から要求に応じたカメラ40A,40Bの撮影画像を読み出し当該撮影画像を表示装置26に表示する。図6は、表示装置26におけるカメラ40A,40Bの撮影画像の表示例を表す図である。図6の例では、二画面表示により、カメラ40Aによる撮影画像41Aとカメラ40Bによる撮影画像41Bが並んで表示される。
なお、表示制御部34は、表示装置26に同時に表示される撮影画像41A,41Bの撮影時刻が同じとなるように、撮影画像41A,41Bの同期が可能な機能を備える。例えば、表示制御部34は、カメラ40A,40Bに同時撮影された前述したような時間合わせの目印を利用して、観測者が撮影画像41A,41Bの再生コマを調整可能な機能を備える。
検知部30は、表示装置26に表示(再生)されている撮影画像41A,41Bにおいて、測定対象の魚を指定する情報の入力を観測者に促す機能を備えている。例えば、検知部30は、表示制御部34を利用して、図6のように撮影画像41A,41Bが表示されている表示装置26に、「測定対象の魚を指定(選択)して下さい」旨のメッセージを表示させる。第2実施形態では、観測者が入力装置25を操作することにより、図7に表されるような枠50で測定対象の魚が囲まれることにより、測定対象の魚が指定されるように設定されている。その枠50は、例えば長方形状(正方形を含む)と成し、その大きさおよび縦横比が観測者により可変可能となっている。この枠50は、検知部30が撮影画像に行う検知処理の対象となる調査範囲である。なお、観測者が枠50によって測定対象の魚を指定する作業を実行している場合には、撮影画像41A,41Bは一時停止状態で静止している状態となっている。
第2実施形態では、撮影画像41A,41Bのうちの一方側を表示する画面領域(例えば図6、図7における左側の画面領域)が操作画面として設定され、他方側を表示する画面領域(例えば図6、図7における右側の画面領域)が参照画面として設定されている。検知部30は、カメラ40A,40B間の間隔を表す間隔情報に基づき、撮影画像41Bにおいて枠50により指定されている領域と同じ領域を表す参照画面の撮影画像41Aでの枠51の表示位置を算出する機能を備えている。なお、検知部30は、撮影画像41Bにおいて枠50の位置や大きさが調整されている最中に、その位置や大きさに追従して撮影画像41Aにおける枠51の位置や大きさを可変する機能を備える。あるいは、検知部30は、撮影画像41Bにおいて枠50の位置および大きさが確定した後に、枠51を撮影画像41Aに表示させる機能を備えていてもよい。さらにまた、検知部30は、枠50の位置や大きさの調整に追従して枠51の位置や大きさを可変する機能と、枠50の位置および大きさが確定した後に枠51を表示させる機能とを共に備え、例えば観測者により択一的に選択された側の機能を実行してもよい。また、上記のような撮影画像41Bにおいて指定された枠50に基づいて撮影画像41Aにおける枠51を設定する機能は、検知部30に代えて、図3の点線に表されるような範囲追従部35が実行してもよい。
検知部30は、さらに、撮影画像41A,41Bにおいて調査範囲として指定された枠50,51内で、測定対象の魚における予め定められた特徴を持つ対を成す特徴部位を検知する機能を備えている。第2実施形態では、魚の頭と尾が対を成す特徴部位として設定されている。撮影画像41A,41Bから特徴部位である魚の頭と尾を検知する手法には様々な手法があり、ここでは、情報処理装置20の処理能力等を考慮した適宜な手法が採用されるが、その一例を挙げると、次のような手法がある。
例えば、測定対象となる種類の魚の頭と尾について、魚の向きや形が異なる図8に表されるような複数の参考データ(参考部位画像)が記憶装置23に格納されている。これら参考データは、特徴部位である魚の頭と尾のサンプル画像が表されている参考部位画像である。当該参考データは、測定対象となる種類の魚が撮影されている多数の撮影画像から、頭と尾のそれぞれの特徴部位が撮影されている領域の画像が教師データ(教師画像)として抽出され、当該教師データを利用した機械学習により作成される。
第2実施形態の情報処理装置20は、魚の頭と尾との間の長さを魚の長さとして測定する。このことから、魚の頭と尾は、魚の長さを測定する際に測定部分の両端となる部位である。このことを考慮し、ここでは、魚の長さを測定する際に魚の測定部分の両端となる頭と尾のそれぞれの測定ポイントが中心となるように抽出された教師データを利用した機械学習により参考データが作成される。これにより、図8に表されるように、参考データの中心は、魚の頭あるいは尾の測定ポイントPを表すという意味を持つ。
これに対し、測定ポイントPを考慮せずに、図9に表されるように単に頭と尾が撮影されている領域が教師データとして抽出され、当該教師データに基づいて参考データが作成された場合には、参考データの中心は測定ポイントPを表すとは限らない。つまり、この場合には、参考データの中心位置は、測定ポイントPを表すという意味を持たない。
上述したような参考データと、撮影画像41A,41Bにおいて指定された調査範囲(枠50,51)内の画像とが照合されることにより、枠50,51において参考データに合う画像領域が検知される。
検知部30は、さらに、表示制御部34を利用して、検知した特徴部位である魚の頭と尾の位置を表示装置26に明示させる機能を備えている。図10には、表示装置26において、検知された魚の頭と尾のそれぞれの部位が枠52,53により明示されている表示例が表されている。
特定部31は、検知部30により検知された測定対象の魚における対を成す特徴部位(つまり、頭と尾)の座標空間における位置を表す座標を特定する機能を備えている。例えば、特定部31は、検知部30により検知された測定対象の魚の頭と尾が撮影画像41A,41Bにおいて表示されている表示位置を表す表示位置情報を検知部30から受け取る。また、特定部31は、記憶装置23から、カメラ40A,40B(つまり、撮影位置)間の間隔を表す間隔情報を読み出す。そして、特定部31は、それら情報を利用して、三角測量法によって測定対象の魚の頭と尾の座標空間における座標を特定(算出)する。この際、中心が測定ポイントPとなっている参考データを利用して、検知部30が特徴部位を検知している場合には、特定部31は、検知部30により検知された特徴部位の中心が表示されている撮影画像41A,41Bの表示位置情報を利用する。
算出部32は、特定部31により特定された測定対象の魚の特徴部位(頭と尾)の空間座標を利用して、対を成す特徴部位(頭と尾)間の図11に表されるような間隔Lを測定対象の魚の長さとして算出する機能を備えている。このように算出部32により算出された魚の長さLは、例えば観測日時等の予め定められた情報に関連付けられた状態で記憶装置23に格納される。
分析部33は、記憶装置23に格納されている魚の長さLの複数の情報と当該情報に関連付けられている情報を利用して、予め定められた分析を実行する機能を備えている。例えば、分析部33は、観測日における生簀48内の複数の魚の長さLの平均値あるいは検知対象とした魚の長さLの平均値を算出する。なお、検知対象とした魚の長さLの平均値を算出する場合の一例としては、1秒間というような短時間に撮影された動画の複数フレームにおける検知対象の魚の画像により算出された検知対象の魚の複数の長さLが利用される。また、生簀48内の複数の魚の長さLの平均値を算出する場合であって魚の個体識別をしていない場合には、平均値の算出に利用する魚の長さLの値として同じ魚の値が重複利用されることが懸念される。ただ、千尾以上というような多数の魚の長さLの平均値を算出する場合には、値を重複利用することに因る平均値の算出精度への悪影響は小さくなる。
また、分析部33は、生簀48内における魚の長さLとその魚の数との関係 (魚の長さにおける魚体数分布)を算出してもよい。さらに、分析部33は、魚の成長を表す魚の長さLの時間的な推移を算出してもよい。
次に、情報処理装置20における魚の長さLの算出(測定)動作の一例を図12を参照しつつ説明する。なお、図12は、情報処理装置20が実行する魚の長さLの算出(測定)に関わる処理手順を表すフローチャートである。
例えば、情報処理装置20の検知部30は、操作画面における撮影画像41Bにおいての調査範囲(枠50)を指定する情報を受け付けると(ステップS101)、参照画面における撮影画像41Aの調査範囲(枠51)の位置を算出する。そして、検知部30は、撮影画像41A,41Bの枠50,51内において、予め定められた特徴部位(頭と尾)を例えば参考データを利用して検知する(ステップS102)。
その後、特定部31が、検知された特徴部位である頭と尾について、例えば、カメラ40A,40B(撮影位置)間についての間隔情報等を利用し、三角測量法によって座標空間における座標を特定する(ステップS103)。
そして、算出部32が、特定された座標に基づき、対を成す特徴部位(頭と尾)間の間隔Lを魚の長さとして算出する(ステップS104)。その後、算出部32は、算出結果を予め定められた情報(例えば、撮影日時)に関連付けた状態で記憶装置23に格納する(ステップS105)。
その後、情報処理装置20の制御装置22は、例えば観測者による入力装置25の操作により魚の長さLの測定を終了する旨の指示が入力されたか否かを判断する(ステップS106)。そして、制御装置22は、終了の指示が入力されていない場合には、次の魚の長さLの測定に備えて待機する。また、制御装置22は、終了の指示が入力された場合には、魚の長さLを測定する動作を終了する。
第2実施形態の情報処理装置20は、検知部30によって、カメラ40A,40Bの撮影画像41A,41Bにおいて、魚の長さLの測定に必要な魚の頭と尾の部位を検知する機能を備えている。さらに、情報処理装置20は、特定部31によって、検知された魚の頭と尾の位置を表す座標空間における座標を特定する機能を備えている。さらにまた、情報処理装置20は、算出部32によって、特定された座標に基づき魚の頭と尾の間隔Lを魚の長さとして算出する機能を備えている。このため、撮影画像41A,41Bにおける調査対象の範囲(枠50)の情報を観測者が入力装置25を利用して入力することにより、情報処理装置20は、魚の長さLを算出し、当該魚の長さLの情報を観測者に提供できる。換言すれば、観測者は、撮影画像41A,41Bにおける調査対象の範囲(枠50)の情報を情報処理装置20に入力することで、手間無く簡単に魚の長さLの情報を得ることができる。
また、情報処理装置20は、三角測量法により、魚の対を成す特徴部位(頭と尾)の空間座標を特定(算出)し、当該空間座標を利用して、特徴部位間の長さLを魚の長さとして算出するので、長さの測定精度を高めることができる。
さらに、情報処理装置20が特徴部位を検知する処理にて利用する参考データ(参考部位画像)の中心が、魚の長さを測定する部分の端部となっている場合には、測定する魚によって測定部分の端部位置がばらつくことを抑制できる。これにより、情報処理装置20は、魚の長さLの測定に対する信頼性をより高めることができる。
さらに、情報処理装置20は、指定された調査範囲(枠50,51)内において特徴部位を検知する機能を備えている。このため、情報処理装置20は、撮影画像全体に亘って特徴部位を検知する場合に比べて、処理の負荷を軽減できる。
さらに、情報処理装置20は、複数の撮影画像のうちの一つの画像において、調査範囲(枠50)が指定されることにより、他の撮影画像の調査範囲(枠51)を決定する機能を備えている。情報処理装置20は、複数の撮影画像において観測者が調査範囲を指定しなければならない場合に比べて、観測者の手間を軽減できる。
<第3実施形態>
次に、本発明に係る第3実施形態を説明する。なお、第3実施形態の説明において、第2実施形態の情報処理装置および長さ測定システムを構成する構成部分と同一名称部分には同一符号を付し、その共通部分の重複説明は省略する。
第3実施形態の情報処理装置20は、第2実施形態の構成に加えて、図13に表されるような設定部55を備えている。なお、情報処理装置20は、第2実施形態の構成を備えているが、図13では、特定部31と算出部32と分析部33と表示制御部34の図示が省略されている。また、図13において、記憶装置24と入力装置25と表示装置26の図示も省略されている。
設定部55は、撮影画像41A,41Bにおいて検知部30が特徴部位(頭と尾)の位置を調べる調査範囲を設定する機能を備えている。その調査範囲は、第2実施形態では、観測者により入力される情報であるのに対し、第3実施形態では、設定部55が調査範囲を設定するので、観測者は調査範囲の情報を入力しなくて済む。このことにより、第3実施形態の情報処理装置20は、利便性をより高めることができる。
第3実施形態では、記憶装置23には、設定部55が調査範囲を設定するために利用する情報として、調査範囲の形状および大きさを決定する情報が格納されている。例えば、調査範囲の形状および大きさが図14の実線に示されるような形状および大きさを持つ枠50である場合には、その形状を表す情報と、枠50の縦と横の長さの情報とが記憶装置23に格納される。なお、枠50は、例えば観測者が測定に適切であると考えた撮影画像における魚1尾の大きさに応じた大きさを持つ範囲であり、その縦と横のそれぞれの長さは、観測者等による入力装置25の操作により可変可能となっている。
さらに、記憶装置23には、測定対象の物体全体(つまり、ここでは魚体)の撮影画像がサンプル画像として格納されている。ここでは、図15および図16に表されるように、撮影条件が互いに異なる複数のサンプル画像が格納されている。これら測定対象の物体全体(魚体)のサンプル画像も、特徴部位(頭と尾)のサンプル画像と同様に、多数の測定対象の物体を撮影した撮影画像を教師データ(教師画像)とした機械学習により得ることができる。
設定部55は、次のようにして調査範囲を設定する。例えば、設定部55は、観測者により、長さの測定を要求する情報が入力装置25の操作により入力されると、記憶装置23から枠50に関する情報を読み出す。なお、長さの測定を要求する情報は、例えば、撮影画像41A,41Bの再生中に画像の一時停止を指示する情報であってもよいし、撮影画像41A,41Bの停止中に動画の再生を指示する情報であってよい。また、長さの測定を要求する情報は、表示装置26に表示されている『測定開始』のマークが観測者の入力装置25の操作により指示されたことを表す情報であってもよい。さらに、長さの測定を要求する情報は、測定開始を意味する予め定められた入力装置25の操作(例えばキーボード操作)が行われたことを表す情報であってもよい。
設定部55は、枠50に関する情報を読み出した後に、撮影画像において、読み出した情報に表されている形状および大きさの枠50を図14に表される枠A1→枠A2→枠A3→・・・→枠A9→・・・のように、枠50を所定の間隔で順次移動させる。なお、枠50の移動の間隔は、例えば、観測者により適宜可変可能な構成を備えていてもよい。
また、設定部55は、枠50を移動させながら、当該枠50における撮影画像部分と、図15および図16のような測定対象の物体のサンプル画像とのマッチ度(類似度)を例えばテンプレートマッチング手法で利用される手法により判定する。そして、設定部55は、マッチ度が閾値(例えば、90%)以上となる枠50を調査範囲として確定する。例えば、図17に表される撮影画像の例では、設定部55により、1つの撮影画像において、2つの枠50が確定されている。この場合には、2つの枠50のそれぞれについて、第2実施形態で述べたように、検知部30は、特徴部位を検知する処理を実行し、特定部31は、座標空間における特徴部位の空間座標を特定する。そして、算出部32は、2つの枠50のそれぞれについて、対を成す特徴部位間の間隔(ここでは、魚の長さL)を算出する。なお、例えば、長さの測定を要求する情報として画像の一時停止を指示する情報が入力された場合、設定部55は、一時停止中の撮影画像において調査範囲を設定する。このように調査範囲が設定されることにより、前記の如く、対を成す特徴部位間の間隔が算出される。また、例えば、長さの測定を要求する情報として動画の再生を指示する情報が入力された場合、設定部55は、再生中の動画に対して、連続的に、調査範囲を設定する。このように調査範囲が設定されることにより、前記の如く、対を成す特徴部位間の間隔が算出される。
なお、設定部55は、撮影画像4A,4Bの一方において調査範囲(枠50)の位置を上記の如く設定すると、他方における調査範囲(枠51)の位置を枠50の位置に応じて設定するが、これに代えて、設定部55は、次のような機能を備えていてもよい。つまり、設定部55は、撮影画像4A,4Bのそれぞれにおいて、枠50,51を上記同様に移動(スキャン)させることにより、調査範囲(枠50,51)を設定してもよい。
また、設定部55は、上記のように設定した調査範囲の位置を仮決定とし、仮決定の調査範囲(枠50,51)の位置を撮影画像4A,4Bに明記すると共に、調査範囲の確認を観測者等に促すメッセージを表示制御部34によって表示装置26に表示させる機能を備えていてもよい。そして、設定部55は、観測者等による入力装置25の操作によって調査範囲(枠50,51)の位置(例えば、枠50,51が同じ魚を囲んでいること等)を確認した旨の情報が入力された場合に、調査範囲の位置を確定してもよい。また、設定部55は、観測者等による入力装置25の操作により調査範囲(枠50,51)の位置を変更したい旨の情報が入力された場合には、調査範囲(枠50,51)の位置を調整可能とし、変更された枠50,51の位置を調査範囲として確定してもよい。
第3実施形態の情報処理装置20および長さ測定システムにおける上記以外の構成は、第2実施形態の情報処理装置20と同様である。
第3実施形態の情報処理装置20および長さ測定システムは、第2実施形態と同様の構成を備えているので、第2実施形態と同様の効果を得ることができる。その上、第3実施形態の情報処理装置20および長さ測定システムは、設定部55を備えているので、観測者が調査範囲を確定する情報を入力しなくて済むこととなり、観測者の手間を軽減できる。これにより、第3実施形態の情報処理装置20および長さ測定システムは、物体の長さ測定に関する利便性をより高めることができる。例えば、情報処理装置20は、撮影画像41A,41Bの同期を取り、その後、撮影画像41A,41Bを再生しながら設定部55と検知部30と特定部31と算出部32により魚の長さLを算出していく処理を再生終了まで連続して行うことが可能となる。なお、情報処理装置20が上記のような画像の同期から撮影画像の再生および魚の長さの算出を連続して行う一連の処理を開始する手法には様々な手法が考えられる。例えば、入力装置25の操作により処理の開始が指示された場合に、情報処理装置20は、上記一連の処理を開始してもよい。また、撮影画像41A,41Bが情報処理装置20の記憶装置23に格納(登録)される際に、情報処理装置20は、その登録を検知することにより、上記一連の処理を開始してもよい。さらに、再生する撮影画像41A,41Bが選択された際に、情報処理装置20は、その選択情報に基づいて上記一連の処理を開始してもよい。ここでは、そのような様々な手法の中から、適宜な手法が採用されてよいものとする。
<その他の実施形態>
なお、本発明は第3実施形態に限定されることなく、様々な実施の形態を採り得る。例えば、第2と第3の実施形態では、情報処理装置20に分析部33が備えられているが、魚の長さLの観測により得られた情報の分析は、情報処理装置20と別の情報処理装置により実行されてもよく、この場合には、分析部33は省略されてもよい。
また、第2と第3の実施形態では、対を成す特徴部位が魚の頭と尾である例を示したが、例えば、対を成す特徴部位として、さらに、背びれと腹びれの組をも検知する構成とし、頭と尾の間の長さだけでなく、背びれと腹びれとの間の長さをも算出してもよい。それら特徴部位としての背びれと腹びれを撮影画像から検知する手法は、頭と尾の検知と同様の検知手法を用いることができる。
さらに、例えば、頭と尾の間の長さと、背びれと腹びれとの間の長さとを算出する場合であって、それら長さに基づいて魚の重さを推定できる長さと重さの関係が得られる場合には、分析部33が、それら算出された長さに基づき魚の重さを推定してもよい。
さらに、第2実施形態の説明では、特徴部位の参考データとして図8の例が挙げられているが、特徴部位の参考データの種類は、図19〜図22に表されているように、より多くてもよい。なお、図19および図20は、魚の頭に関する参考データの例であり、図21および図22は、魚の尾に関する参考データの例である。また、例えば、魚の尾の参考データとして、さらに、くねりが入っている魚の尾の画像が含まれていてもよい。また、魚の頭や尾の一部が撮影画像に映っていない見切りのデータが検知対象外の参考データとして与えられていてもよい。このように、参考データの種類や数は限定されない。
さらに、第2と第3の各実施形態において、教師データを利用した機械学習によって特徴部位(頭と尾)や測定対象の物体全体(魚体)のサンプル画像を作成する場合に、次のようにして教師データの削減が図られてもよい。例えば、教師データとして図18に表されるような左向きの魚の撮影画像が取得された場合に、その左向きの魚の像を左右反転する処理を行って右向きの魚の教師データが得られるようにしてもよい。
さらに、第2実施形態において、情報処理装置20が、特徴部位を検知する処理を開始する前などの適宜なタイミングで、撮影画像における水の濁りを軽減する画像処理や、水の揺らぎに因る魚体の歪みを補正する画像処理を行ってもよい。また、情報処理装置20は、撮影画像を物体の水深や明るさ等の撮影条件を考慮して補正する画像処理を行ってもよい。さらに、第3実施形態において、情報処理装置20が、調査範囲を確定する処理を開始する前などの適宜なタイミングで、上記同様の画像処理を実行してもよい。このように、情報処理装置20が、撮影環境を考慮して撮影画像を画像処理(画像補正)することにより、測定対象の物体の長さ測定の精度をより高めることができる。また、情報処理装置20は、そのように画像補正された撮影画像を利用することにより、参考データの数を少なくできるという効果を得ることができる。
さらに、第2と第3の実施形態では、測定対象の物体として魚を例にして説明しているが、第2と第3の実施形態で説明した構成を持つ情報処理装置20は、他の物体にも適用可能である。すなわち、第2と第3の実施形態における情報処理装置20は、魚でなくとも、長さを測定する部分の両端部分が他の部分と区別可能な特徴を持つ物体であれば、その物体の長さ測定に適用することもできる。
さらに、第2と第3の実施形態の情報処理装置20は、物体の長さを測定する機能を備えているが、本発明は、測定対象の物体に関する長さ以外の情報(例えば、物体の形状や表面状態を表す情報)を検知する機能を備えている情報処理装置にも適用可能である。例えば、本発明に係る情報処理装置は、その一実施形態として、図23のような構成をも採り得る。
すなわち、図23における情報処理装置60は、設定部61と、検知部62とを備える。設定部61は、測定対象の物体の特徴が表されている情報に基づいて、測定対象の物体が撮影されている撮影画像において当該物体が映っている画像領域を調査範囲として設定する。検知部62は、設定された調査範囲内で前記物体に関する予め定められた処理を行う。
図23における情報処理装置60は、撮影画像において検知部62が処理を行う調査範囲が、設定部61によって設定されるので、調査範囲の情報を人が手入力する手間を省くことができる。また、そのように撮影画像における調査範囲が設定部61によって設定されることにより、情報処理装置60は、検知部62が撮影画像全体を処理する場合に比べて、検知部62が実行する処理に要する時間が短くなり、かつ、負荷を軽減できる。すなわち、情報処理装置60は、撮影画像に基づいて測定対象の物体に関する情報を容易に検知できるという効果を得ることができる。
以上、上述した実施形態を模範的な例として本発明を説明した。しかしながら、本発明は、上述した実施形態には限定されない。即ち、本発明は、本発明のスコープ内において、当業者が理解し得る様々な態様を適用することができる。
この出願は、2016年9月30日に出願された日本出願特願2016−194270を基礎とする優先権を主張し、その開示の全てをここに取り込む。
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
(付記1)
測定対象の物体の特徴が表されている情報に基づいて、前記測定対象の物体が撮影されている撮影画像において前記物体が映っている画像領域を調査範囲として設定する設定部と、
設定された調査範囲内で前記物体に関する予め定められた処理を行う検知部と
を備える情報処理装置。
(付記2)
前記設定部は、処理開始を意味する予め定められた情報の入力を検知した場合に、前記調査範囲を設定する処理を開始する付記1に記載の情報処理装置。
(付記3)
前記設定部は、前記物体が映っている画像領域であるか否かを判断する画像範囲を前記撮影画像において所定の間隔毎に移動させながら、前記画像範囲内に前記物体が映っているか否かを判断し、前記物体が映っていると判断した前記画像範囲内の前記画像領域を前記調査範囲として設定する付記1又は付記2に記載の情報処理装置。
(付記4)
前記設定部は、前記物体が映っている画像領域であるか否かを判断する画像範囲内の画像と、予め与えられている前記物体のサンプル画像とのマッチ度を判定し、当該マッチ度が閾値以上である前記画像範囲内の前記画像領域を前記調査範囲として設定する付記1又は付記2又は付記3に記載の情報処理装置。
(付記5)
前記設定部は、前記物体における撮影条件が異なる複数種のサンプル画像に基づいて前記マッチ度を判定する付記4に記載の情報処理装置。
(付記6)
前記検知部は、前記測定対象の物体が撮影されている前記撮影画像から、前記物体における予め定められた特徴を持つ対を成す特徴部位をそれぞれ検知する付記1に記載の情報処理装置。
(付記7)
前記物体を互いに異なる位置から撮影した複数の撮影画像における前記検知された特徴部位が表示されている表示位置情報と、前記複数の撮影画像をそれぞれ撮影した撮影位置間の間隔を表す間隔情報とに基づいて、座標空間における前記特徴部位の位置を表す座標を特定する特定部と、
前記特定された前記特徴部位の位置の座標に基づいて、対を成す前記特徴部位間の長さを算出する算出部と
をさらに備える付記6に記載の情報処理装置。
(付記8)
前記検知部は、前記特徴部位のサンプル画像が表されている参考部位画像に基づいて、前記撮影画像から前記特徴部位を検知する付記7に記載の情報処理装置。
(付記9)
前記検知部は、前記特徴部位のサンプル画像であって且つ画像中心が前記物体の長さを測定する部分の端部を表している参考部位画像に基づき、前記物体の長さを測定する部分の端部を中心にした部位を前記特徴部位として検知し、
前記特定部は、検知された前記特徴部位の中心位置を表す座標を特定し、
前記算出部は、対を成す前記特徴部位の中心間の長さを算出する付記7に記載の情報処理装置。
(付記10)
前記特定部は、三角測量法を用いて、座標空間における前記特徴部位の位置を表す座標を特定する付記7乃至付記9の何れか一つに記載の情報処理装置。
(付記11)
測定対象の物体の特徴が表されている情報に基づいて、前記測定対象の物体が撮影されている撮影画像において前記物体が映っている画像領域を調査範囲として設定し、
設定された調査範囲内で前記物体に関する予め定められた処理を行う画像処理方法。
(付記12)
測定対象の物体の特徴が表されている情報に基づいて、前記測定対象の物体が撮影されている撮影画像において前記物体が映っている画像領域を調査範囲として設定する処理と、
設定された調査範囲内で前記物体に関する予め定められた処理を行う処理と
をコンピュータに実行させるコンピュータプログラムを記憶するプログラム記憶媒体。
1,20,60 情報処理装置
2,30,62 検知部
3,31 特定部
4,32 算出部
11A,11B 撮影装置
50,51 枠
55,61 設定部

Claims (12)

  1. 測定対象の物体の特徴が表されている情報に基づいて、前記測定対象の物体が撮影されている撮影画像において前記物体が映っている画像領域を調査範囲として設定する設定手段と、
    設定された調査範囲内で前記物体に関する予め定められた処理を行う検知手段と
    を備える情報処理装置。
  2. 前記設定手段は、処理開始を意味する予め定められた情報の入力を検知した場合に、前記調査範囲を設定する処理を開始する請求項1に記載の情報処理装置。
  3. 前記設定手段は、前記物体が映っている画像領域であるか否かを判断する画像範囲を前記撮影画像において所定の間隔毎に移動させながら、前記画像範囲内に前記物体が映っているか否かを判断し、前記物体が映っていると判断した前記画像範囲内の前記画像領域を前記調査範囲として設定する請求項1又は請求項2に記載の情報処理装置。
  4. 前記設定手段は、前記物体が映っている画像領域であるか否かを判断する画像範囲内の画像と、予め与えられている前記物体のサンプル画像とのマッチ度を判定し、当該マッチ度が閾値以上である前記画像範囲内の前記画像領域を前記調査範囲として設定する請求項1又は請求項2又は請求項3に記載の情報処理装置。
  5. 前記設定手段は、前記物体における撮影条件が異なる複数種のサンプル画像に基づいて前記マッチ度を判定する請求項4に記載の情報処理装置。
  6. 前記検知手段は、前記測定対象の物体が撮影されている前記撮影画像から、前記物体における予め定められた特徴を持つ対を成す特徴部位をそれぞれ検知する請求項1に記載の情報処理装置。
  7. 前記物体を互いに異なる位置から撮影した複数の撮影画像における前記検知された特徴部位が表示されている表示位置情報と、前記複数の撮影画像をそれぞれ撮影した撮影位置間の間隔を表す間隔情報とに基づいて、座標空間における前記特徴部位の位置を表す座標を特定する特定手段と、
    前記特定された前記特徴部位の位置の座標に基づいて、対を成す前記特徴部位間の長さを算出する算出手段と
    をさらに備える請求項6に記載の情報処理装置。
  8. 前記検知手段は、前記特徴部位のサンプル画像が表されている参考部位画像に基づいて、前記撮影画像から前記特徴部位を検知する請求項7に記載の情報処理装置。
  9. 前記検知手段は、前記特徴部位のサンプル画像であって且つ画像中心が前記物体の長さを測定する部分の端部を表している参考部位画像に基づき、前記物体の長さを測定する部分の端部を中心にした部位を前記特徴部位として検知し、
    前記特定手段は、検知された前記特徴部位の中心位置を表す座標を特定し、
    前記算出手段は、対を成す前記特徴部位の中心間の長さを算出する請求項7に記載の情報処理装置。
  10. 前記特定手段は、三角測量法を用いて、座標空間における前記特徴部位の位置を表す座標を特定する請求項7乃至請求項9の何れか一つに記載の情報処理装置。
  11. 測定対象の物体の特徴が表されている情報に基づいて、前記測定対象の物体が撮影されている撮影画像において前記物体が映っている画像領域を調査範囲として設定し、
    設定された調査範囲内で前記物体に関する予め定められた処理を行う画像処理方法。
  12. 測定対象の物体の特徴が表されている情報に基づいて、前記測定対象の物体が撮影されている撮影画像において前記物体が映っている画像領域を調査範囲として設定する処理と、
    設定された調査範囲内で前記物体に関する予め定められた処理を行う処理と
    をコンピュータに実行させるコンピュータプログラムを記憶するプログラム記憶媒体。
JP2018542457A 2016-09-30 2017-09-20 情報処理装置、情報処理方法およびコンピュータプログラム Active JP6816773B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016194270 2016-09-30
JP2016194270 2016-09-30
PCT/JP2017/033884 WO2018061927A1 (ja) 2016-09-30 2017-09-20 情報処理装置、情報処理方法およびプログラム記憶媒体

Publications (2)

Publication Number Publication Date
JPWO2018061927A1 true JPWO2018061927A1 (ja) 2019-06-24
JP6816773B2 JP6816773B2 (ja) 2021-01-20

Family

ID=61760621

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018542457A Active JP6816773B2 (ja) 2016-09-30 2017-09-20 情報処理装置、情報処理方法およびコンピュータプログラム

Country Status (3)

Country Link
US (1) US20200027231A1 (ja)
JP (1) JP6816773B2 (ja)
WO (1) WO2018061927A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11913771B2 (en) * 2018-03-26 2024-02-27 Nec Corporation Information processing device, object measuring system, object measuring method, and program storing medium
JP7233688B2 (ja) * 2019-02-12 2023-03-07 広和株式会社 液中物の測定方法およびシステム
US20220327721A1 (en) * 2019-09-30 2022-10-13 Nec Corporation Size estimation device, size estimation method, and recording medium
EP4141487A1 (en) 2021-08-31 2023-03-01 Furuno Electric Co., Ltd. Device and method for fish detection

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003250382A (ja) * 2002-02-25 2003-09-09 Matsushita Electric Works Ltd 水棲生物の成育状態監視方法及びその装置
JP2006215743A (ja) * 2005-02-02 2006-08-17 Toyota Motor Corp 画像処理装置及び画像処理方法
JP2008236276A (ja) * 2007-03-20 2008-10-02 Hitachi Ltd カメラ装置
JP2009175692A (ja) * 2007-12-27 2009-08-06 Olympus Corp 計測用内視鏡装置およびプログラム
JP2012057974A (ja) * 2010-09-06 2012-03-22 Ntt Comware Corp 撮影対象サイズ推定装置及び撮影対象サイズ推定方法並びにそのプログラム
JP2012068937A (ja) * 2010-09-24 2012-04-05 Panasonic Corp 瞳孔検出装置及び瞳孔検出方法
JP2013217662A (ja) * 2012-04-04 2013-10-24 Sharp Corp 測長装置、測長方法、プログラム
US20140046628A1 (en) * 2010-12-23 2014-02-13 Geoservices Equipements Method for Analyzing at Least a Cutting Emerging from a Well, and Associated Apparatus
JP2016075658A (ja) * 2014-10-03 2016-05-12 株式会社リコー 情報処理システムおよび情報処理方法
JP2016080550A (ja) * 2014-10-17 2016-05-16 オムロン株式会社 エリア情報推定装置、エリア情報推定方法、および空気調和装置
JP2016152027A (ja) * 2015-02-19 2016-08-22 株式会社リコー 画像処理装置、画像処理方法およびプログラム

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003250382A (ja) * 2002-02-25 2003-09-09 Matsushita Electric Works Ltd 水棲生物の成育状態監視方法及びその装置
JP2006215743A (ja) * 2005-02-02 2006-08-17 Toyota Motor Corp 画像処理装置及び画像処理方法
JP2008236276A (ja) * 2007-03-20 2008-10-02 Hitachi Ltd カメラ装置
JP2009175692A (ja) * 2007-12-27 2009-08-06 Olympus Corp 計測用内視鏡装置およびプログラム
JP2012057974A (ja) * 2010-09-06 2012-03-22 Ntt Comware Corp 撮影対象サイズ推定装置及び撮影対象サイズ推定方法並びにそのプログラム
JP2012068937A (ja) * 2010-09-24 2012-04-05 Panasonic Corp 瞳孔検出装置及び瞳孔検出方法
US20140046628A1 (en) * 2010-12-23 2014-02-13 Geoservices Equipements Method for Analyzing at Least a Cutting Emerging from a Well, and Associated Apparatus
JP2013217662A (ja) * 2012-04-04 2013-10-24 Sharp Corp 測長装置、測長方法、プログラム
JP2016075658A (ja) * 2014-10-03 2016-05-12 株式会社リコー 情報処理システムおよび情報処理方法
JP2016080550A (ja) * 2014-10-17 2016-05-16 オムロン株式会社 エリア情報推定装置、エリア情報推定方法、および空気調和装置
JP2016152027A (ja) * 2015-02-19 2016-08-22 株式会社リコー 画像処理装置、画像処理方法およびプログラム

Also Published As

Publication number Publication date
US20200027231A1 (en) 2020-01-23
WO2018061927A1 (ja) 2018-04-05
JP6816773B2 (ja) 2021-01-20

Similar Documents

Publication Publication Date Title
JP7188527B2 (ja) 魚体長さ測定システム、魚体長さ測定方法および魚体長さ測定プログラム
JP7124865B2 (ja) 情報処理装置、物体計測システム、物体計測方法、コンピュータプログラムおよび情報提供システム
JP7001145B2 (ja) 情報処理装置、物体計測システム、物体計測方法およびコンピュータプログラム
JP6981531B2 (ja) 物体同定装置、物体同定システム、物体同定方法およびコンピュータプログラム
JP6363863B2 (ja) 情報処理装置および情報処理方法
JP6735592B2 (ja) 画像処理装置及びその制御方法、画像処理システム
JPWO2018061927A1 (ja) 情報処理装置、情報処理方法およびプログラム記憶媒体
JP6304244B2 (ja) 3次元形状計測装置、3次元形状計測方法及び3次元形状計測プログラム
US10058237B2 (en) Image processing device, image processing method, and program
JP6879375B2 (ja) 情報処理装置、長さ測定システム、長さ測定方法およびコンピュータプログラム
JPWO2011125937A1 (ja) キャリブレーションデータ選択装置、選択方法、及び選択プログラム、並びに三次元位置測定装置
TW201225658A (en) Imaging device, image-processing device, image-processing method, and image-processing program
JPWO2018061928A1 (ja) 情報処理装置、計数システム、計数方法およびコンピュータプログラム
JP2011095131A (ja) 画像処理方法
JP6583565B2 (ja) 計数システムおよび計数方法
US10432916B2 (en) Measurement apparatus and operation method of measurement apparatus
JP2008109481A (ja) 画像生成装置
JP2011118767A (ja) 表情モニタリング方法および表情モニタリング装置
US20230260159A1 (en) Information processing apparatus, information processing method, and non-transitory computer readable medium
JP2008157780A (ja) 3次元データ生成装置、画像取得装置、3次元データ生成方法、画像取得方法およびプログラム
JP2018084509A (ja) 画像測量方法、画像測量装置及び画像測量プログラム
JP2017079024A (ja) 画像処理装置、画像マッチングによる同一部位検出方法および画像処理用プログラム
US20200196963A1 (en) Measuring instrument attachment assist device and measuring instrument attachment assist method
JP2022131076A (ja) 配筋検査支援装置、配筋検査支援方法およびプログラム
JP5438852B2 (ja) マイクロスコープ

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190312

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190312

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200114

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200313

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200623

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200918

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20200918

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20201001

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20201006

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201124

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201207

R150 Certificate of patent or registration of utility model

Ref document number: 6816773

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150