JP5709483B2 - 画像処理装置 - Google Patents
画像処理装置 Download PDFInfo
- Publication number
- JP5709483B2 JP5709483B2 JP2010260450A JP2010260450A JP5709483B2 JP 5709483 B2 JP5709483 B2 JP 5709483B2 JP 2010260450 A JP2010260450 A JP 2010260450A JP 2010260450 A JP2010260450 A JP 2010260450A JP 5709483 B2 JP5709483 B2 JP 5709483B2
- Authority
- JP
- Japan
- Prior art keywords
- detection target
- image
- shape
- region
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Image Analysis (AREA)
Description
1.はじめに
水産資源量の調査は、資源の枯渇の防止と漁業の効率的な操業を実現する上で、極めて重要である。各関係機関は必要な調査を行い、水産資源の個体数・発育の状態の把握に努めている[1]、[2]。栽培漁業では資源量調査結果を元に、操業計画を立てる。
ホタテガイはウグイスガイ目イタヤガイ科に分類される二枚貝の一種である[7]。水深約80mまでの砂場や礫場に生息している。ホタテの資源量調査のために撮影される海底画像の所得方法について説明する。まず、船舶から上部にカメラと撮影用の照明が1つ設置されているフレームを海底に沈める。機材を沈めた際、着底の瞬間に写真撮影を行う。この撮影方法では、カメラと海底までの高さがほぼ一定であり、傾きを補正する必要がないため、安定した画像を所得することができる。また砂や礫などの海底の環境にも影響されない。
ホタテ領域の特徴をモデル化するにあたって、図1より多ノイズを含む画像であり、撮影環境による照度差が大きいことがわかる。画像周辺部では十分な照度が得られず、色や形状を正しく認識することが困難である。本節では前処理として、対象画像に適した平滑化処理と、輝度の平均による認識可能領域を定義し、解析する領域を抽出する手法について述べる。
対象画像の背景は砂であり、ノイズを多く含むことから、ホタテ領域の特徴を失うことなく平滑化する必要がある。そこで本論文では、Mean−Shiftフィルタリング[8]、[9]を用いて平滑化することとした。Mean−Shiftフィルタリングはエッジ情報を残したまま平滑化する手法である。また、同様の平滑化処理としてバイラテラルフィルタ[10]があるが、反復処理を必要とするのに対して、Mean−Shiftフィルタリングは一回の処理で平滑化が可能となる。
対象画像は、撮影時の照明による照度差が大きく、十分な照度が得られていない領域がある。このような領域では、正確な色情報や形状情報を得ることは困難である。そこで、十分な照度が得られている領域を認識可能領域とし、この領域に対してホタテ領域を抽出することとする。
本稿ではホタテ領域の「殻縁」と「形状」に注目して、これらを統合することで対象領域の抽出を図る。以下にて、各特徴のモデル化について詳述する。
海底が砂場である場合、ほとんどのホタテは殻を砂で覆って身を隠している。しかし、ホタテは呼吸をする際に、殻を開閉するため、殻縁部(殻の周辺部)の砂が落ち、覆われていない領域ができる(図2)。また、ホタテの殻縁部は安定して白色である。このため、ホタテ領域の近傍を見たとき、殻縁部分は最も明るい領域であると考えられる。しかし、対象画像は照度差が大きく、固定閾値によって抽出するのは困難である。ここでは、これらの特徴を殻縁特徴とし可変閾値を用いることで照度差に対応した殻縁候補点の抽出手法を提案する。
ThSR(x’0,y’0)=Lave’+λLSD’ (1)
とする。ただしλは、ヒストグラムの分布が正規分布としたときに、殻縁候補点とする割合pにより決定され、正規分布表に従う。この閾値ThSR(x’0,y’0)を画像I(x,y)に対応する閾値とする。この処理を移動幅k’により画像I全体に対して行う。このとき、閾値ThSRは移動幅k’の間隔が空くため、線形補間法により画像I全体の閾値ThSRを決定する。画像I(x、y)が
ThSR(x、y)≦I(x、y) (2)
を満たすとき、殻縁候補点SRCとする。本明細書においては、局所領域Ilocal’の大きさ(W’,N’)=(64,64)、移動幅k’=16、殻縁候補点とする割合p=0.01とし、λ=2.326で与えられる。
閾値ThSRが214の場合を示す。また図6(b)の対象画像は図4(b)で閾値ThSRが149の場合を示す。図7より、対象画像の照度差に対応しながら、閾値が決定されていることがわかる。また、図8からも、照度差に影響を受けることなく、殻縁候補点が抽出されていることがわかる。
ホタテの殻は扇状の形状を有し、殻縁部分にも同様の特徴をみることができる。本稿では、ホタテの殻縁形状を楕円と見なし、楕円検出Hough変換を用いてモデル化を試みた。Hough変換とは、候補となる関数のパラメータ空間上に特徴点に従い投票することで検出される[11]。ノイズに強く、対象の画像に適した手法である。ただし直線の場合2 次元、楕円の場合5次元のパラメータ空間が必要となる。また、図2より対象となる殻縁の形状は、楕円を構成する特徴点が半分にも満たないことがほとんどである。このため、以下で述べるパラメータ空間に対して投票を行い楕円の検出を行う。ただし、本論文で用いる特徴点は次節で詳述する。
4.1節と4.2節では、それぞれ殻縁の色特徴と形状特徴を定義した。本節では、これらを統合する手法について述べる。
f(x,y,α−Δα/2,β−Δβ/2)≦N≦f(x,y,α+Δα/2,β+Δβ/2) (3)
とする。パラメータ空間の投票数は、対応するパラメータの楕円近傍領域Nに存在する特徴点の数と同値である。一般的にHough変換は、抽出したい物体のエッジ点を特徴点とし、抽出を行う。しかし、ここでは楕円を構成する特徴点を殻縁候補点とし、領域Nに含まれる殻縁候補点の面積をSSRとするとき、形状特徴を満たす楕円のうち近傍領域Nに含まれる殻縁特徴が
Thscallop≦SSR (4)
を満たすとき、ホタテ領域とする。ここでThscallopは、Hough変換においてパラメータ空間の投票数から、楕円として検出するか否かに対する閾値であり、且つその楕円近傍に含まれる殻縁候補点の面積SSRに対する閾値でもある。本稿では、パラメータ空間量子化幅Δα、Δβ=2、閾値Thscallop=20とした。またホタテ領域は、呼吸するために個体同士が重なることがない。このため、複数のホタテ領域が重なるとき、最も殻縁候補点の面積SSRが大きいものをホタテ領域とした。
5.1 実験方法
抽出手法は以下のとおりである。
処理1.Mean−Shiftフィルタリングによる平滑化。
処理2.処理1で得られた画像から認識可能領域を抽出。
処理3.処理2で得られた画像から殻縁候補点の抽出。
処理4.処理3で得られた画像からHough変換によるホタテ領域を抽出。
ホタテの抽出結果例を図11、図12に示す。殻縁が確認できるホタテ領域を抽出できていることがわかる。
砂場という視覚的特徴が少ない環境において、ホタテの殻縁特徴と形状特徴を統合することで良好な結果が得られた。このような環境下でのエッジ点には、ホタテ領域以外の砂や照明による影など含まれることは容易に予想できる。その結果、Hough変換ではホタテ領域以外の特徴点が投票されることで、正しい領域を抽出することができない。本手法はHough変換ではエッジ点ではなく、殻縁候補点を特徴点とすることで、図12よりホタテの殻縁部に沿って正しくホタテ領域の抽出ができた。
海底画像からホタテの数や大きさ、状態を自動的に計測可能なシステムの開発を目的とし、砂場環境の海底画像からホタテ領域を抽出する手法を提案した。対象画像は、砂や撮影環境による照度差を含む非整備環境下で撮影されたものであり、多ノイズを含む。これらの問題を解決するために、Mean−Shiftフィルタリングを用いた平滑化及び認識可能領域を定義し、対応した。ホタテは、砂場環境下ではホタテ全体が砂に覆われており、視覚的特徴が乏しい。本手法は、砂場というホタテが身を隠している環境下において、照度差に対応した動的閾値を導入し得られたホタテの殻縁特徴と形状特徴を統合することで、抽出精度の向上を試みたものである。実画像を用いた抽出実験を通じて、本手法の有効性を検証した。また、自動計測システムの開発にはそれぞれの環境に適した手法を用いる必要があるが、本稿で提案した手法は、砂場以外の環境でも応用が可能なものである。
[1]Food and Agricultural Organization, "The State of World Fisheries and Aquaculture," Food and Agri-cultural Organization, Italy, 2006.
[2]勝川俊、"水産資源の順応的管理に関する研究、"日本水産学会誌、vol. 73, no. 4, pp. 656-659, 2007.
[3]本多直人、渡辺俊広、"水中ビデオカメラを装着した表中層トロール網によるエチゼンクラゲの鉛直分布調査、"日本水産学会誌、vol. 73, no. 6, pp. 1042-1048, 2007.
[4]藤田薫、渡辺俊広、北川大二、"トロール網のグランドロープに対するズワイガニ類の行動、"日本水産学会誌、vol. 72, no. 4, pp. 695-701, 2006.
[5]北海道立網走水産試験場、"ホタテガイ地まき漁場におけるモニタリングマニュアル〜市場ニーズに対応した計画的生産を目指して〜、"北海道立網走水産試験場(オンライン)、http://www.shexp.pref.hokkaido.jp/exp/abashiri/saikin/manyuaru/manyuaru.pdf.
[6]K. Enomoto, M. Toda, and Y. Kuwahara, "Scal-lop Detection from Gravel-Seabed Images for Fish-ery Investigation", Proc. 7th IAPR Conf. on Machine Vision Applications(MVA2009), pp. 479-482, Kana-gawa, The Japan, May 2009.
[7]奥谷喬司(編著)、"日本近海産貝類図鑑、"東海大学出版会、pp.910-911、 2000.
[8]Y. Cheng, "Mean Shift, Mode Seeking, and Clus-tering," Proc. IEEE, vol. 17, no. 8, pp. 790-799,Aug.1995.
[9]D. Comaniciu and P. Meer, \Mean Shift: A RobustApproach Toward Feature Space Analysis," Proc.IEEE, vol. 24, no. 5, pp. 603-619, May 2002.
[10]C. Tomasi and R. Manduchi, "Bilateral Filtering for Gray and Color Images," Proc. 6th IEEE Conf. on Conputer Vision, pp. 839-846, Bombay, The India, January 1998.
[11]R. O. Duda and P. E. Hart, "Use of the Hough Trans-formation to Detect Lines and Curves in Pictures," Comm. ACM, vol. 15, pp. 11-15, Jan.1972.
実施の形態
図13は、実施の形態に係る画像処理装置100の内部構成を模式的に示す図である。画像処理装置100は、前処理部10、特徴画素抽出部20、形状特徴抽出部30、確信度算出部40、検出対象領域抽出部50、検出対象測定部60、記憶部70、および出力部80を含む。記憶部70はさらに、パラメータ記憶部72と測定結果格納部74とを含む。
Claims (6)
- 検出対象であるホタテ貝が撮像された画像を所定の大きさの複数の局所領域に分割し、各局所領域内の画素の統計量をもとに各局所領域における二値化の基準閾値を算出する基準閾値算出部と、
前記基準閾値算出部が算出した各局所領域における二値化の基準閾値をもとに、前記検出対象を被写体に含む画像を局所領域毎に二値化してドットパターンを取得する特徴画素抽出部と、
前記ドットパターンにより形成された形状を特徴点として前記検出対象の候補を抽出する形状特徴抽出部と、
前記形状特徴抽出部が抽出した検出対象の候補を構成するドットのうち、前記検出対象の候補の形状を構成するドットが略楕円形状となるか否かを判断するために設けられた基準範囲内に含まれるドットの数を確信度として算出する確信度算出部と、
前記確信度が所定の閾値以上となる形状を識別して計数する検出対象領域抽出部とを含むことを特徴とする画像処理装置。 - 前記検出対象領域抽出部が識別した楕円の大きさの分布を算出する検出対象測定部をさらに含むことを特徴とする請求項1に記載の画像処理装置。
- 前記形状特徴抽出部は、楕円検出Hough変換によって前記検出対象の候補を抽出し、
楕円検出Hough変換によって検出される楕円の中心座標を(x、y)、半長径をα、半短径をβ、長軸の傾きをφとして楕円を関数f(x,y,α,β,φ)で定義し、楕円Hough変換に用いられる半長径αおよび半短径βのパラメータ空間量子化幅をそれぞれΔα、Δβとしたとき、前記基準範囲は、
f(x,y,α−Δα/2,β−Δβ/2)≦N≦f(x,y,α+Δα/2,β+Δβ/2)
で表される楕円近傍領域Nであることを特徴とする請求項1または2に記載の画像処理装置。 - 検出対象であるホタテ貝が撮像された画像を所定の大きさの複数の局所領域に分割し、各局所領域内の画素の統計量をもとに各局所領域における二値化の基準閾値を算出する機能と、
算出した各局所領域における二値化の基準閾値をもとに、前記検出対象を被写体に含む画像を局所領域毎に二値化してドットパターンを取得する機能と、
前記ドットパターンにより形成された形状を特徴点として前記検出対象の候補を抽出する機能と、
抽出した検出対象の候補を構成するドットのうち、前記検出対象の候補の形状を構成するドットが略楕円形状となるか否かを判断するために設けられた基準範囲内に含まれるドットの数を確信度として算出する機能と、
前記確信度が所定の閾値以上となる形状を識別して計数する機能とをコンピュータに実現させることを特徴とするプログラム。 - 検出対象であるホタテ貝を栽培する漁場を複数の小領域毎に撮像して得られた複数の画像それぞれについて、画像を所定の大きさの複数の局所領域に分割し、各局所領域内の画素の統計量をもとに各局所領域における二値化の基準閾値を算出する基準閾値算出部と、
前記基準閾値算出部が算出した各局所領域における二値化の基準閾値をもとに、前記検出対象を被写体に含む画像を局所領域毎に二値化してドットパターンを取得する特徴画素抽出部と、
前記ドットパターンにより形成された形状を特徴点として前記検出対象の候補を抽出する形状特徴抽出部と、
前記形状特徴抽出部が抽出した検出対象の候補を構成するドットのうち、前記検出対象の候補の形状を構成するドットが略楕円形状となるか否かを判断するために設けられた基準範囲内に含まれるドットの数を確信度として算出する確信度算出部と、
前記確信度が所定の閾値以上となる形状を識別して計数し、前記複数の小領域毎に含まれるホタテ貝の存在位置を検出する検出対象領域抽出部と、
前記複数の画像それぞれに含まれるホタテ貝の大きさを測定する検出対象測定部と、
前記漁場内におけるホタテ貝の密度分布とホタテ貝の大きさの分布との少なくとも一方を、密度または大きさの違いを識別可能な態様で出力する出力部とを含むことを特徴とする画像処理装置。 - 検出対象であるホタテ貝を栽培する漁場を複数の小領域毎に撮像して得られた複数の画像それぞれについて、画像を所定の大きさの複数の局所領域に分割し、各局所領域内の画素の統計量をもとに各局所領域における二値化の基準閾値を算出する機能と、
算出した各局所領域における二値化の基準閾値をもとに、前記検出対象を被写体に含む画像を局所領域毎に二値化してドットパターンを取得する機能と、
前記ドットパターンにより形成された形状を特徴点として前記検出対象の候補を抽出する機能と、
抽出した検出対象の候補を構成するドットのうち、前記検出対象の候補の形状を構成するドットが略楕円形状となるか否かを判断するために設けられた基準範囲内に含まれるドットの数を確信度として算出する機能と、
前記確信度が所定の閾値以上となる形状を識別して計数し、前記複数の小領域毎に含まれるホタテ貝の存在位置およびホタテ貝の大きさを検出し、前記漁場内におけるホタテ貝の密度分布とホタテ貝の大きさの分布との少なくとも一方を、密度または大きさの違いを識別可能な態様で出力する機能とをコンピュータに実現させることを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010260450A JP5709483B2 (ja) | 2010-11-22 | 2010-11-22 | 画像処理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010260450A JP5709483B2 (ja) | 2010-11-22 | 2010-11-22 | 画像処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012113436A JP2012113436A (ja) | 2012-06-14 |
JP5709483B2 true JP5709483B2 (ja) | 2015-04-30 |
Family
ID=46497603
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010260450A Expired - Fee Related JP5709483B2 (ja) | 2010-11-22 | 2010-11-22 | 画像処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5709483B2 (ja) |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS63217481A (ja) * | 1987-03-06 | 1988-09-09 | Mitsubishi Rayon Co Ltd | 円形類似物の形状測定法 |
JPH04112290A (ja) * | 1990-08-31 | 1992-04-14 | Ricoh Co Ltd | 3次元物体個数計数方式 |
JP2004139307A (ja) * | 2002-10-17 | 2004-05-13 | Ricoh Co Ltd | 図形認識装置 |
JP3906221B2 (ja) * | 2003-11-26 | 2007-04-18 | 松下電器産業株式会社 | 画像処理方法及び画像処理装置 |
DE102005047160B4 (de) * | 2005-09-30 | 2007-06-06 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung, Verfahren und Computerprogramm zum Ermitteln einer Information über eine Form und/oder eine Lage einer Ellipse in einem graphischen Bild |
JP4931476B2 (ja) * | 2006-05-13 | 2012-05-16 | シャープ株式会社 | 真円度を計測する手法に特長をもつ画像処理方法および画像処理装置 |
US8103055B2 (en) * | 2008-01-11 | 2012-01-24 | Omg Plc | Detection of blobs in images |
JP5182689B2 (ja) * | 2008-02-14 | 2013-04-17 | 日本電気株式会社 | 眼底画像解析方法およびその装置とプログラム |
JP5343973B2 (ja) * | 2008-09-25 | 2013-11-13 | コニカミノルタ株式会社 | 医用画像処理装置及びプログラム |
-
2010
- 2010-11-22 JP JP2010260450A patent/JP5709483B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2012113436A (ja) | 2012-06-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Muñoz-Benavent et al. | Enhanced fish bending model for automatic tuna sizing using computer vision | |
Mohamed et al. | Msr-yolo: Method to enhance fish detection and tracking in fish farms | |
Descamps et al. | An automatic counter for aerial images of aggregations of large birds | |
Ravanbakhsh et al. | Automated Fish Detection in Underwater Images Using Shape‐Based Level Sets | |
CN109427055B (zh) | 基于视觉注意机制和信息熵的遥感图像海面舰船检测方法 | |
US20150294443A1 (en) | Computationally efficient method for image segmentation with intensity and texture discrimination | |
Andrew et al. | Semi‐automated detection of eagle nests: an application of very high‐resolution image data and advanced image analyses to wildlife surveys | |
CN111080696A (zh) | 一种基于计算机视觉的水下海参识别及定位方法 | |
Xia et al. | In situ sea cucumber detection based on deep learning approach | |
Shihavuddin et al. | Automated classification and thematic mapping of bacterial mats in the north sea | |
Ghazal et al. | Precise statistical approach for leaf segmentation | |
Ovchinnikova et al. | Exploring the potential to use low cost imaging and an open source convolutional neural network detector to support stock assessment of the king scallop (Pecten maximus) | |
Sravanthi et al. | Efficient image-based object detection for floating weed collection with low cost unmanned floating vehicles | |
JP4285640B2 (ja) | オブジェクト識別方法および装置ならびにプログラム | |
JP2009123234A (ja) | オブジェクト識別方法および装置ならびにプログラム | |
JP5709483B2 (ja) | 画像処理装置 | |
Lazuardi et al. | Coastal Reef and Seagrass Monitoring for Coastal Ecosystem Management. | |
Tuset et al. | Recognising mollusc shell contours with enlarged spines: Wavelet vs Elliptic Fourier analyses | |
Enomoto et al. | Extraction method of scallop area from sand seabed images | |
Gunti et al. | A Convolutional Neural Networks based Coral Reef Annotation and Localization. | |
Trotter et al. | Towards automatic cetacean photo-identification: A framework for fine-grain, few-shot learning in marine ecology | |
CN111046726A (zh) | 一种基于ai智能视觉的水下海参识别及定位方法 | |
Tan et al. | Detection of marine species on underwater video images | |
Yamakita | Eelgrass beds and oyster farming at a lagoon before and after the Great East Japan Earthquake 2011: potential to apply deep learning at a coastal area | |
Enomoto et al. | Scallop detection from sand-seabed images for fishery investigation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20131120 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20131120 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140716 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140805 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141003 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150210 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150303 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5709483 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |