JP6209069B2 - 境界検出装置、境界検出方法及びコンピュータプログラム - Google Patents
境界検出装置、境界検出方法及びコンピュータプログラム Download PDFInfo
- Publication number
- JP6209069B2 JP6209069B2 JP2013243941A JP2013243941A JP6209069B2 JP 6209069 B2 JP6209069 B2 JP 6209069B2 JP 2013243941 A JP2013243941 A JP 2013243941A JP 2013243941 A JP2013243941 A JP 2013243941A JP 6209069 B2 JP6209069 B2 JP 6209069B2
- Authority
- JP
- Japan
- Prior art keywords
- boundary
- image
- boundary line
- unit
- probability
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000001514 detection method Methods 0.000 title claims description 61
- 238000004590 computer program Methods 0.000 title claims description 3
- 238000004364 calculation method Methods 0.000 claims description 19
- 238000012549 training Methods 0.000 claims description 18
- 238000005457 optimization Methods 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 7
- 238000000605 extraction Methods 0.000 description 22
- 238000000034 method Methods 0.000 description 20
- 239000000284 extract Substances 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000007637 random forest analysis Methods 0.000 description 2
- 101100126955 Arabidopsis thaliana KCS2 gene Proteins 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 241000132023 Bellis perennis Species 0.000 description 1
- 235000005633 Chrysanthemum balsamita Nutrition 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Landscapes
- Image Analysis (AREA)
Description
上記事情に鑑み、本発明は、画像の被写体の境界線の検出と、境界線によって分割された領域の前後関係の推定とを、より高速かつ高精度に行うことを可能とする技術を提供することを目的としている。
訓練画像2は、境界線の形状及び境界線によって分割された領域の前後関係と、画像の特徴(以下、「画像特徴」という。)との関係性の学習のために、境界検出装置1に入力される学習用の画像データの集合である。
境界線情報3は、境界線の形状及び境界線によって分割された領域の前後関係と、画像特徴との関係性の学習のために、境界検出装置1に入力される学習用の境界線情報の集合である。境界線情報3は、訓練画像2における被写体の位置と、被写体の前後関係を表す情報である。境界線情報は、例えば、被写体の前後関係が色の階調で表現された画像データなどである。
入力画像4は、境界検出装置1に入力される、境界線を検出する対象の画像データである。
境界識別器学習部10は、境界パッチ抽出部101、クラスタリング部102、画像パッチ抽出部103、画像特徴抽出部104及びパラメータ学習部105を備える。
図3は、境界線情報3から抽出されたパッチの具体例を表す図である。図3の例では、パッチの形状は四角形であり、線分によりパッチ内の領域が2つの領域に分割されている。一方の領域は手前に位置する被写体が写った領域(以下、「手前領域」という。)であり、他方の領域は奥に位置する被写体が写った領域(以下、「奥領域」という。)である。
図2の説明に戻る。境界パッチ抽出部101は、抽出されたパッチに対して、境界線によって分割された領域の前後関係を表す情報を付与する。前後関係を表す情報が付与されたパッチを、境界パッチと呼ぶ。前後関係を表す情報は、例えば、奥の領域を‘0’、手前の領域を‘1’で表した情報である。
図4は、境界パッチの具体例を表す図である。図4は、図3に示されたパッチの具体例に基づいて生成された境界パッチを示す。手前領域及び奥領域が、それぞれ白及び黒で表されている。
さらに、画像パッチ抽出部103は、訓練画像2において境界パッチの位置に対応しない領域から一定数のパッチを切り出し画像パッチに含める。このように抽出された境界パッチに対応しない画像パッチは、対応する境界クラスを持たないため、訓練画像2における非境界領域を表すクラス(以下、「非境界クラス」という。)に対応付けられる。
本実施形態では、識別する対象のクラスが多数である。そのため、境界識別器に用いる識別手法には、RandomForestなどの多クラスを高速に識別する手法が用いられることが望ましい。そこで、本実施形態では、境界識別器の識別手法にRandomForestの手法を用いる。
パラメータ学習部105は、境界識別パラメータを記憶部30に保存する。
境界検出部20は、画像特徴抽出部201、境界識別部202、画像分割部203、境界確率算出部204及び境界ラベル最適化部205を備える。
画像特徴抽出部201は、入力画像4からパッチを抽出する。抽出されるパッチ(以下、「入力画像パッチ」という。)は、入力画像4の全ての画素について、所定の範囲の周辺画素を含む領域として抽出される。画像特徴抽出部201は、抽出された各入力画像パッチについて画像特徴を抽出する。抽出する画像特徴には、画像特徴抽出部104において画像パッチの画像特徴を抽出する際に用いられた画像特徴を用いる。
画像分割部203は、入力画像4を十分に細かい領域に分割する。画像分割部203は、分割された画像から境界線となり得る候補(以下、「境界線候補」という。)を選択する。入力画像4の領域を分割する手法には、Superpixel抽出に用いられる様々な手法を用いることができる。領域を分割する手法は、余す所なく境界線候補を抽出できる手法ほど望ましい。
境界確率算出部204は、境界線候補に含まれる画素について、非境界クラスに対応する識別スコアを、当該画素が境界線でない場合の境界確率とする。
境界確率算出部204は、各境界クラスに付与された前後関係の情報に基づいて、境界線候補に含まれる画素の各境界クラス毎の識別スコアを、2つの状態に分類する。そして、境界確率算出部204は、分類された識別スコアを積算する。これによって、境界確率算出部204は、境界線候補に含まれる各画素について、当該画素が境界線である場合の2つの境界状態に対する境界確率を得る。
境界確率算出部204は、各境界クラスの境界パッチを平均化した平均パッチを生成する。図6は、各境界クラスの平均パッチの具体例を示す図である。
境界確率算出部204は、平均パッチにおいて手前の領域から奥の領域に向かう法線ベクトルを、領域の前後関係を表す重み付けベクトルとする。境界確率算出部204は、重み付けベクトルと、各画素の位置における境界線候補の傾きに対する法線ベクトルと、の余弦の値によって対象画素の識別スコアを分類する。すなわち、境界クラスと同じ前後関係を持つ画素は余弦の値が正となり、境界クラスと逆の前後関係を持つ画素は余弦の値が負となる。境界確率算出部204は、重み付けされた識別スコアを、正、負の値毎に積算することによって、当該画素が境界線である場合の2つの境界状態に対する境界確率を算出する。
条件付き確率場では、入力画像4の画像全体で取り得る境界状態の確率は、(式1)で表される。
また、jは各境界線候補の境界線が交差する交差点を表しており、ljは交差点jに接続する境界ラベルを表している。
図7において、実線は境界線である境界線候補を表し、点線は境界線でない境界線候補を表している。また、図7において矢印は、その右側が左側よりも手前に位置する領域であることを表している。各領域に付された番号は、その値が小さい程手前に位置する領域であることを表している。単純な物体の配置を考えた場合、交差点jにおいて取り得る境界ラベルの組み合わせには限りがあり、図7に示した以外の接続のパターンが発生する可能性は低いと考えられる。よって、本実施形態では、境界ラベルの組み合わせにおいて、組み合わせの発生し易さに関するペナルティをpj(lj)として導入する。pj(lj)は、図7に示す境界ラベルの組み合わせには一定の確率を与え、それ以外の組み合わせには十分に小さい確率を与える。
このようにして算出されるp(L|X)は、入力画像4の画像全体における各境界線候補の組み合わせに対する尤度を表す。境界ラベル最適化部205は、この尤度を最大化する境界ラベルの組み合わせを決定し、前後関係付き境界線情報として出力する。
まず、境界検出装置1は、境界線を検出する対象となる画像(入力画像4)の入力を受け付ける(ステップS101)。
画像特徴抽出部201は、入力された画像から全画素分のパッチ(入力画像パッチ)を抽出する(ステップS102)。
画像特徴抽出部201は、抽出された各入力画像パッチについて画像特徴を抽出する(ステップS103)。
境界識別部202は、学習された境界識別パラメータを用いて境界識別器を動作させることにより、画像特徴抽出部201によって抽出された各入力画像パッチの画像特徴に基づいて、入力画像4の各画素のクラス(各境界クラス及び非境界クラス)毎の識別スコアを算出する(ステップS104)。境界識別部202は、各画素の識別スコアを、各境界クラス及び非境界クラス毎に算出する。
画像分割部203は、入力画像4を十分に細かい領域に分割し、境界線となり得る境界線候補を選択する(ステップS105)。
境界確率算出部204は、画像分割部203によって選択された境界線候補について、3つの境界状態に対する境界確率を算出する(ステップS106)。
境界ラベル最適化部205は、境界確率算出部204によって算出された各境界線候補の境界確率を、境界ラベルを用いて入力画像4の画像全体で統合する(ステップS107)。
境界ラベル最適化部205は、入力画像4の画像全体で統合された境界確率の尤度が最大となる境界ラベルの組み合わせを決定する(ステップS108)。
境界ラベル最適化部205は、決定された境界ラベルの組み合わせを入力画像4に対して推定された前後関係付き境界線情報として出力する(ステップS109)。
図10は、実施形態の境界検出装置1の変形例における境界検出部20aの構成を示す図である。変形例における、境界検出部20aは、境界ラベル最適化部205に代えて境界ラベル最適化部205aを備える点で、境界検出部20と異なる。境界ラベル最適化部205aには、境界確率算出部204の出力に加えて、境界確率パラメータが入力される。
境界確率パラメータは、境界ラベル最適化部205aに入力される境界線候補の非境界確率を増加させるためのパラメータである。境界確率パラメータは、予め記憶部30に記憶されている。(式1)における境界ラベルの組み合わせの推定において、意図しない境界線の検出の頻度を下げるために、境界確率パラメータが設けられてもよい。
なお、境界検出装置は以下の様に構成されてもよい。
境界識別器は、学習用に入力された前後関係付き境界線情報から前後関係付き境界パッチを抽出する前後関係付き境界パッチ抽出部と、前記境界パッチを、似た境界線形状を表す境界クラスに分類する境界パッチクラスタリング部と、前記境界クラスに基づいて、学習用に入力された訓練画像から画像パッチを抽出する画像パッチ抽出部と、前記画像パッチから画像特徴を抽出する画像パッチ特徴抽出部と、前記境界クラスと前記画像特徴とに基づいて、前記訓練画像と前記前後関係付き境界線情報との関係性を表す境界識別器を生成する境界識別パラメータ学習部と、を備える。
前記境界検出部は、境界線の検出のために入力された入力画像から、境界線候補を抽出し前記境界線候補の画像特徴を抽出する入力画像特徴抽出部と、前記境界線候補の画像特徴を入力として、予め学習された前記境界識別器を用いて前記境界線候補の識別スコアを前記境界クラス毎に算出する境界識別部と、前記境界線候補の識別スコアを画像全体で統合し、前記境界線候補の組み合わせを画像全体で最適化することにより、前記入力画像における前後関係付き境界線情報を推定する識別スコア統合部と、を備える。
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
Claims (4)
- 被写体の境界識別に用いる境界識別器を構築するために入力される訓練用画像とともに入力される情報であって、前記訓練用画像の被写体に関する局所的な境界線の形状と、前記局所的な境界線によって分割される領域の前後関係とを表す複数の境界線情報を、前記局所的な境界線の形状及び前記境界線に係る前後関係の特徴に基づいて複数のクラスに分類するクラスタリング部と、
前記訓練用画像から取得される部分画像であって、前記複数の境界線情報のそれぞれに対応する第1の部分画像と前記境界線情報に対応しない所定数の第2の部分画像とのそれぞれの部分画像について取得された特徴量に基づいて、前記部分画像と前記クラスとの関係性を定めるパラメータを決定することにより前記境界識別器を構築するパラメータ学習部と、
被写体の境界を識別する対象として入力される入力画像から取得される部分画像の特徴量と、前記パラメータ学習部によって構築された前記境界識別器とを用いて前記部分画像に含まれる境界線を前記複数のクラスのいずれかに分類することにより前記入力画像の被写体の境界を推定する境界検出部と、
を備える境界検出装置。 - 前記境界検出部は、
前記入力画像の画素ごとに、前記画素が境界でない確率、境界であってその境界によって分割される一方の領域が手前側である確率、及び前記一方の領域が奥側である確率を識別スコアとして算出する境界識別部と、
前記入力画像を複数の部分画像に分割し、分割された部分画像から境界線候補を抽出する画像分割部と、
前記境界線候補に含まれる各画素の識別スコアに基づいて、前記境界線候補が境界でない場合の確率、境界であってその境界によって分割される一方の領域が手前側である場合の確率、及び前記一方の領域が奥側である場合の確率を各境界線候補の境界確率として算出する境界確率算出部と、
前記境界線候補ごとの境界確率を画像全体で統合し、各境界線候補が取り得る各場合の組み合わせのうち、統合された前記境界確率の尤度が最も高い場合の組み合わせを示す情報を出力する最適化部と、
を備える、
請求項1に記載の境界検出装置。 - 被写体の境界識別に用いる境界識別器を構築するために入力される訓練用画像とともに入力される情報であって、前記訓練用画像の被写体に関する局所的な境界線の形状と、前記局所的な境界線によって分割される領域の前後関係とを表す複数の境界線情報を、前記局所的な境界線の形状及び前記境界線に係る前後関係の特徴に基づいて複数のクラスに分類するクラスタリングステップと、
前記訓練用画像から取得される部分画像であって、前記複数の境界線情報のそれぞれに対応する第1の部分画像と前記境界線情報に対応しない所定数の第2の部分画像とのそれぞれの部分画像について取得された特徴量に基づいて、前記部分画像と前記クラスとの関係性を定めるパラメータを決定することにより前記境界識別器を構築するパラメータ学習ステップと、
被写体の境界を識別する対象として入力される入力画像から取得される部分画像の特徴量と、前記パラメータ学習ステップにおいて構築された前記境界識別器とを用いて前記部分画像に含まれる境界線を前記複数のクラスのいずれかに分類することにより前記入力画像の被写体の境界を推定する境界検出ステップと、
を有する境界検出方法。 - コンピュータを、請求項1又は2に記載の境界検出装置として機能させるためのコンピュータプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013243941A JP6209069B2 (ja) | 2013-11-26 | 2013-11-26 | 境界検出装置、境界検出方法及びコンピュータプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013243941A JP6209069B2 (ja) | 2013-11-26 | 2013-11-26 | 境界検出装置、境界検出方法及びコンピュータプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015103075A JP2015103075A (ja) | 2015-06-04 |
JP6209069B2 true JP6209069B2 (ja) | 2017-10-04 |
Family
ID=53378719
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013243941A Expired - Fee Related JP6209069B2 (ja) | 2013-11-26 | 2013-11-26 | 境界検出装置、境界検出方法及びコンピュータプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6209069B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11468571B2 (en) * | 2019-07-10 | 2022-10-11 | Samsung Electronics Co., Ltd. | Apparatus and method for generating image |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102016120775A1 (de) | 2015-11-02 | 2017-05-04 | Cognex Corporation | System und Verfahren zum Erkennen von Linien in einem Bild mit einem Sichtsystem |
US10937168B2 (en) | 2015-11-02 | 2021-03-02 | Cognex Corporation | System and method for finding and classifying lines in an image with a vision system |
US10878574B2 (en) * | 2018-02-21 | 2020-12-29 | Topcon Corporation | 3D quantitative analysis of retinal layers with deep learning |
JP2019220163A (ja) * | 2018-06-06 | 2019-12-26 | コグネックス・コーポレイション | ビジョンシステムでラインを検出するためのシステム及び方法 |
JP7028099B2 (ja) | 2018-08-02 | 2022-03-02 | 日本電信電話株式会社 | 候補領域推定装置、候補領域推定方法、及びプログラム |
JP7334083B2 (ja) * | 2019-07-29 | 2023-08-28 | セコム株式会社 | 分類信頼度算出装置、領域分割装置、学習装置、分類信頼度算出方法、学習方法、分類信頼度算出プログラム、及び学習プログラム |
US20230245319A1 (en) * | 2020-05-21 | 2023-08-03 | Sony Group Corporation | Image processing apparatus, image processing method, learning device, learning method, and program |
JP7516963B2 (ja) * | 2020-08-03 | 2024-07-17 | Jfeエンジニアリング株式会社 | 情報処理装置および情報処理方法 |
CN116501830B (zh) * | 2023-06-29 | 2023-09-05 | 中南大学 | 一种生物医学文本的重叠关系联合抽取方法及相关设备 |
-
2013
- 2013-11-26 JP JP2013243941A patent/JP6209069B2/ja not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11468571B2 (en) * | 2019-07-10 | 2022-10-11 | Samsung Electronics Co., Ltd. | Apparatus and method for generating image |
Also Published As
Publication number | Publication date |
---|---|
JP2015103075A (ja) | 2015-06-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6209069B2 (ja) | 境界検出装置、境界検出方法及びコンピュータプログラム | |
Jia et al. | Local binary pattern-based hyperspectral image classification with superpixel guidance | |
Dollár et al. | Structured forests for fast edge detection | |
Hallman et al. | Oriented edge forests for boundary detection | |
Zhang et al. | Efficient inference for fully-connected CRFs with stationarity | |
CN104778457B (zh) | 基于多示例学习的视频人脸识别方法 | |
Roy et al. | Bayesian classifier for multi-oriented video text recognition system | |
JP4905931B2 (ja) | 人体領域抽出方法および装置並びにプログラム | |
JP2015176169A (ja) | 画像処理装置、画像処理方法およびプログラム | |
CN108629286B (zh) | 一种基于主观感知显著模型的遥感机场目标检测方法 | |
US9443137B2 (en) | Apparatus and method for detecting body parts | |
WO2019071976A1 (zh) | 基于区域增长和眼动模型的全景图像显著性检测方法 | |
CN102855478B (zh) | 图像中文本区域定位方法和装置 | |
Hichri et al. | Interactive segmentation for change detection in multispectral remote-sensing images | |
Chi | Self‐organizing map‐based color image segmentation with k‐means clustering and saliency map | |
Lee et al. | Video saliency detection based on spatiotemporal feature learning | |
Liu et al. | Image fuzzy clustering based on the region-level Markov random field model | |
Wu et al. | Natural scene text detection by multi-scale adaptive color clustering and non-text filtering | |
CN112651364A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
Li et al. | Morphological segmentation of 2-D barcode gray scale image | |
CN113536845B (zh) | 人脸属性识别方法、装置、存储介质和智能设备 | |
Fowlkes et al. | How much does globalization help segmentation? | |
Wu et al. | Reverse Image Segmentation: A High-Level Solution to a Low-Level Task. | |
JP2016081472A (ja) | 画像処理装置、画像処理方法及びプログラム | |
Estrada et al. | Appearance-based keypoint clustering |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160225 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170123 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170214 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170330 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170905 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170908 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6209069 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |