JP6135283B2 - 画像処理装置、画像処理方法、プログラムおよび記録媒体 - Google Patents
画像処理装置、画像処理方法、プログラムおよび記録媒体 Download PDFInfo
- Publication number
- JP6135283B2 JP6135283B2 JP2013094757A JP2013094757A JP6135283B2 JP 6135283 B2 JP6135283 B2 JP 6135283B2 JP 2013094757 A JP2013094757 A JP 2013094757A JP 2013094757 A JP2013094757 A JP 2013094757A JP 6135283 B2 JP6135283 B2 JP 6135283B2
- Authority
- JP
- Japan
- Prior art keywords
- similarity
- unit
- image
- region
- saliency
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 72
- 238000003672 processing method Methods 0.000 title claims description 10
- 238000004364 calculation method Methods 0.000 claims description 23
- 239000011159 matrix material Substances 0.000 claims description 11
- 238000000034 method Methods 0.000 description 19
- 238000004891 communication Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 230000015654 memory Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 241000282412 Homo Species 0.000 description 6
- 238000004519 manufacturing process Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Description
なお、f*は、[f1 *,・・・,fn *]T で示され、上端用類似度,下端用類似度,左端用類似度および右端用類似度を示すベクトルである。ここで、fi *はi番目の単位構成と端部領域に位置する単位構成との類似度を示す。なお、nは画像における単位構成の数である。
以下に、本発明の一実施形態に係る画像処理装置1の構成について、図1は、本実施形態の画像処理装置の構成を示すブロック図である。図1に示す画像処理装置は、入力画像を取得し、取得した入力画像の各画素における顕著度を示す顕著マップを出力する。なお、本実施形態において入力画像は静止画像であるとして説明するが、動画像であってもよい。
次に、制御部12の各部について説明する。図1に示すように、制御部12は、SP画像生成部121、類似マップ生成部122、前景領域特定部123、および顕著マップ生成部124を備える。
f*=(D−αW)−1y ・・・ 式(1)
に従って、類似マップを算出する。SP画像生成部121がn個のスーパーピクセルからなるスーパーピクセル画像を生成した場合、類似マップ生成部122は、n個のスーパーピクセルの各々についての類似度を示す類似マップを算出する。以下、nはスーパーピクセルの個数を示す。
次に、画像処理装置1の制御部12によって実行される顕著マップ生成処理の流れについて、図2を用いて説明する。図2は制御部12によって実行される顕著マップ生成処理の流れを示すフローチャートである。
本実施形態の画像処理装置1における顕著マップの生成アルゴリズムを評価するため、ある画像に関し、画像処理装置1による出力された顕著マップと従来のアルゴリズムにより生成された顕著マップとを比較した。
〔CB〕 H. Jiang, J. Wang, Z. Yuan, T. Liu, N. Zheng, and S. Li,“Automatic salient object segmentation based on context and shape prior,” in British Machine Vision Conference, 2011, pp. 1-12.
〔GS_SP〕 Y. C. Wei, F. Wen, W. J. Zhu, and J. Sun. Geodesic saliency using background priors.
〔SF〕 F. Perazzi, P. Krahenbuhl, Y. Pritch, and A. Hornung. Saliency filters:Contrast based filtering for salient region detection. In CVPR, 2012.
〔SVO〕 K.-Y. Chang, T.-L. Liu, H.-T. Chen, and S.-H. Lai. Fusing generic
objectness and visual saliency for salient object detection. In ICCV,2011.
〔RC〕 Ming-Ming Cheng, Guo-Xin Zhang, Niloy J. Mitra, Xiaolei Huang, and Shi-Min Hu. “Global contrast based salient region detection. ” In IEEE CVPR, pages 409-416, 2011.
〔CA〕 S. Goferman, L. Zelnik-Manor, and A. Tal, “Context-aware saliency detection,” in IEEE CVPR, 2010, pp. 2376-2383.
〔FT〕 R. Achanta, S. Hemami, F. Estrada, and S. Susstrunk,“Frequency-tuned salient region detection,” in IEEE CVPR, 2009, pp. 1597-1604.
〔IT〕 L. Itti, C. Koch, and E. Niebur, “A model of saliency-based visual attention for rapid scene analysis,” IEEE TPAMI, vol. 20, no. 11, pp. 1254-1259, 1998.
〔LC〕 Y. Zhai and M. Shah, “Visual attention detection in video sequences using spatiotemporal cues,” in ACM Multimedia, 2006, pp. 815-824.
〔AC〕 R. Achanta, F. Estrada, P. Wils, and S. S ¨ usstrunk, “Salient region detection and segmentation,” in IEEE ICVS, 2008, pp. 66-75.
〔GB〕 J. Harel, C. Koch, and P. Perona, “Graph-based visual saliency,” in NIPS, 2007, pp. 545-552.
〔SR〕 X. Hou and L. Zhang, “Saliency detection: A spectral residual approach,” in IEEE CVPR, 2007, pp. 1-8.
〔MZ〕 Y. Ma and H. Zhang. Contrast-based image attention analysis by
using fuzzy growing. ACM Multimedia, 2003.
(本実施形態の処理速度)
本実施形態の画像処理装置1は、上述したように、上端用類似マップ、下端用類似マップ、左端用類似マップ、右端用類似マップ、前景類似マップの5つの類似マップを算出する。ただし、上述したように、これらの類似マップは、多様体ランキング法(Manifold Ranking法)を用いた上記の式(1)に従って算出される。各類似マップの算出過程においてはyのみが異なり、行列(D−αW)−1は共通している。そのため、最初の上端用類似マップの算出の際に行列(D−αW)−1を求めれば、他の4つの類似マップの算出の際に行列(D−αW)−1を改めて計算する必要がなく、援用すればよい。これにより、計算速度が向上する。
上記の説明では、類似マップ生成部122および顕著マップ生成部124は、SP画像生成部121により生成されたスーパーピクセル画像を基に、スーパーピクセルごとに類似マップおよび顕著マップを生成した。しかしながら、画像処理装置1がSP画像生成部121を備えておらず、類似マップ生成部122および顕著マップ生成部124は、画像取得部11が取得した入力画像について、画素ごとに類似マップおよび顕著マップを生成してもよい。この場合、類似マップ生成部122は、画素ごとに、入力画像の端部に位置する画素との類似度を示す類似マップを生成すればよい。
以上のように、本実施形態に係る画像処理装置1は、画像における画素または連結された複数の画素からなるスーパーピクセルを単位構成とし、(a)単位構成の各々について、画像における端部領域に位置する単位構成との類似度を示す類似マップを生成する類似マップ生成部(類似度算出部)122と、(b)類似マップ生成部122により算出された類似マップにおいて類似度が所定閾値よりも非類似であることを示す単位構成の領域を前景領域として特定する前景領域特定部123と、(c)各単位構成について、前景領域特定部123により特定された前景領域との類似度を示す前景類似マップを求め、当該前景類似マップを顕著マップとして出力する顕著マップ生成部(顕著度出力部)124とを備える。
最後に、画像処理装置1の各ブロックは、集積回路(ICチップ)上に形成された論理回路によってハードウェア的に実現してもよいし、CPU(Central Processing Unit)を用いてソフトウェア的に実現してもよい。
また、この通信ネットワークを構成する伝送媒体も、プログラムコードを伝送可能な媒体であればよく、特定の構成または種類のものに限定されない。例えば、IEEE1394、USB、電力線搬送、ケーブルTV回線、電話線、ADSL(Asymmetric Digital Subscriber Line)回線等の有線でも、IrDAやリモコンのような赤外線、Bluetooth(登録商標)、IEEE802.11無線、HDR(High Data Rate)、NFC(Near Field Communication)、DLNA(登録商標)(Digital Living Network Alliance)、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
13 出力部(顕著度出力部)
121 SP画像生成部(分割処理部)
122 類似マップ生成部(類似度算出部)
123 前景領域特定部
124 顕著マップ生成部(顕著度出力部)
Claims (8)
- 画像における画素または連結された複数の画素からなる領域を単位構成とし、上記単位構成の各々について、画像における端部領域に位置する単位構成との第1類似度を求める類似度算出部と、
上記類似度算出部により算出された第1類似度が所定閾値よりも非類似であることを示す単位構成の領域を前景領域として特定する前景領域特定部と、
上記画像の各単位構成について、前景領域特定部により特定された前景領域との第2類似度を求め、当該第2類似度を当該単位構成の顕著度として出力する顕著度出力部とを備えることを特徴とする画像処理装置。 - 上記画像を、輝度値および/または色度が類似する互いに隣接した画素からなる画素小領域に分割し、当該画素小領域を上記単位構成とする分割処理部を備えることを特徴とする請求項1に記載の画像処理装置。
- 上記類似度算出部は、上記単位構成の各々について、矩形状の上記画像の上端部領域に位置する単位構成との類似度である上端用類似度と、上記画像の下端部領域に位置する単位構成との類似度である下端用類似度と、上記画像の左端部領域に位置する単位構成との類似度である左端用類似度と、上記画像の右端部領域に位置する単位構成との類似度である右端用類似度とを求め、上端用類似度,下端用類似度,左端用類似度および右端用類似度を掛け合わせることで上記第1類似度を求めることを特徴とする請求項1または2に記載の画像処理装置。
- 上記類似度算出部は、以下の式(1)を用いて、上端用類似度,下端用類似度,左端用類似度および右端用類似度を求めることを特徴とする請求項3に記載の画像処理装置。
f*=(D−αW)−1y ・・・ 式(1)
(なお、f*は、[f1 *,・・・,fn *]T で示され、上端用類似度,下端用類似度,左端用類似度および右端用類似度を示すベクトルである。ここで、fi *はi番目の単位構成と端部領域に位置する単位構成との類似度を示す。なお、nは画像における単位構成の数である。
Wはn行×n列の行列であり、i行j列の要素wijは以下の式で示される。
Dはn行×n列の対角行列であり、D=diag(d11,・・・,dnn)で示される。なお、diiは以下の式で示される。
αは所定の定数である。) - 上記顕著度出力部は、i番目の単位構成が前景領域に位置する場合に1であり、i番目の単位構成が前景領域に位置しない場合に0となるyiを要素とするyを用いて、上記の式(1)に従って第2類似度を求めることを特徴とする請求項4に記載の画像処理装置。
- 画像における画素または連結された複数の画素からなる領域を単位構成とし、上記単位構成の各々について、画像における端部領域に位置する単位構成との第1類似度を求める類似度算出ステップと、
上記第1類似度が所定閾値よりも非類似であることを示す単位構成の領域を前景領域として特定する前景領域特定ステップと、
上記画像の各単位構成について、上記前景領域との第2類似度を求め、当該第2類似度を当該単位構成の顕著度として出力する顕著度出力ステップとを含むことを特徴とする画像処理方法。 - 画像における画素または連結された複数の画素からなる領域を単位構成とし、上記単位構成の各々について、画像における端部領域に位置する単位構成との第1類似度を求める類似度算出ステップと、
上記第1類似度が所定閾値よりも非類似であることを示す単位構成の領域を前景領域として特定する前景領域特定ステップと、
上記画像の各単位構成について、上記前景領域との第2類似度を求め、当該第2類似度を当該単位構成の顕著度として出力する顕著度出力ステップとをコンピュータにより実施するよう制御するプログラム。 - 請求項7に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013094757A JP6135283B2 (ja) | 2013-04-26 | 2013-04-26 | 画像処理装置、画像処理方法、プログラムおよび記録媒体 |
EP14154825.5A EP2797051B1 (en) | 2013-04-26 | 2014-02-12 | Image processing device, image processing method, program, and recording medium |
US14/191,834 US9189861B2 (en) | 2013-04-26 | 2014-02-27 | Image processing device, image processing method, program, and recording medium |
CN201410074536.8A CN104123717B (zh) | 2013-04-26 | 2014-03-03 | 图像处理装置、图像处理方法、程序以及记录介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013094757A JP6135283B2 (ja) | 2013-04-26 | 2013-04-26 | 画像処理装置、画像処理方法、プログラムおよび記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014215926A JP2014215926A (ja) | 2014-11-17 |
JP6135283B2 true JP6135283B2 (ja) | 2017-05-31 |
Family
ID=50112738
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013094757A Active JP6135283B2 (ja) | 2013-04-26 | 2013-04-26 | 画像処理装置、画像処理方法、プログラムおよび記録媒体 |
Country Status (4)
Country | Link |
---|---|
US (1) | US9189861B2 (ja) |
EP (1) | EP2797051B1 (ja) |
JP (1) | JP6135283B2 (ja) |
CN (1) | CN104123717B (ja) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102161212B1 (ko) * | 2013-11-25 | 2020-09-29 | 한화테크윈 주식회사 | 움직임 검출 시스템 및 방법 |
JP6642970B2 (ja) * | 2015-03-05 | 2020-02-12 | キヤノン株式会社 | 注目領域検出装置、注目領域検出方法及びプログラム |
JP6639113B2 (ja) * | 2015-06-05 | 2020-02-05 | キヤノン株式会社 | 画像認識装置、画像認識方法及びプログラム |
ITUB20153912A1 (it) * | 2015-09-25 | 2017-03-25 | Sisvel Tech S R L | Metodi e apparati per codificare e decodificare immagini digitali mediante superpixel |
KR101785204B1 (ko) | 2016-05-10 | 2017-10-17 | 한국과학기술원 | 로우 레벨 차이 맵과 하이 레벨 피처를 이용하는 핵심 영역 검출 방법 및 시스템 |
CN106056590B (zh) * | 2016-05-26 | 2019-02-22 | 重庆大学 | 基于Manifold Ranking和结合前景背景特征的显著性检测方法 |
CN106127785B (zh) * | 2016-06-30 | 2019-02-22 | 重庆大学 | 基于流形排序和随机游走的图像显著性检测方法 |
CN107316037B (zh) * | 2017-03-27 | 2020-11-13 | 南京晓庄学院 | 一种基于视觉主体检测的果蔬识别预处理方法 |
CN107169954B (zh) * | 2017-04-18 | 2020-06-19 | 华南理工大学 | 一种基于并行卷积神经网络的图像显著性检测方法 |
CN108009191A (zh) * | 2017-09-24 | 2018-05-08 | 贵州师范学院 | 一种图像检索方法 |
KR20230041851A (ko) * | 2021-09-17 | 2023-03-27 | 연세대학교 산학협력단 | 모조 마스크 기반 약지도 시맨틱 분할 장치 및 방법 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3848514B2 (ja) | 2000-02-23 | 2006-11-22 | 富士通株式会社 | 顕著性算出装置及び方法 |
JP2007157063A (ja) * | 2005-12-08 | 2007-06-21 | Sony Corp | 画像処理装置及び画像処理方法、並びにコンピュータ・プログラム |
JP5235770B2 (ja) | 2009-04-27 | 2013-07-10 | 日本電信電話株式会社 | 顕著領域映像生成方法、顕著領域映像生成装置、プログラムおよび記録媒体 |
JP4868046B2 (ja) * | 2009-08-31 | 2012-02-01 | カシオ計算機株式会社 | 画像処理装置、画像処理方法及びプログラム |
JP2011191430A (ja) * | 2010-03-12 | 2011-09-29 | Toyota Infotechnology Center Co Ltd | 地図情報配信システム |
JP5654962B2 (ja) * | 2011-08-19 | 2015-01-14 | 日本放送協会 | 視線位置推定装置及び視線位置推定プログラム |
CN103049893B (zh) * | 2011-10-14 | 2015-12-16 | 深圳信息职业技术学院 | 一种图像融合质量评价的方法及装置 |
CN103020965B (zh) * | 2012-11-29 | 2016-12-21 | 奇瑞汽车股份有限公司 | 一种基于显著性检测的前景分割方法 |
-
2013
- 2013-04-26 JP JP2013094757A patent/JP6135283B2/ja active Active
-
2014
- 2014-02-12 EP EP14154825.5A patent/EP2797051B1/en active Active
- 2014-02-27 US US14/191,834 patent/US9189861B2/en active Active
- 2014-03-03 CN CN201410074536.8A patent/CN104123717B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
EP2797051A2 (en) | 2014-10-29 |
EP2797051A3 (en) | 2015-11-18 |
CN104123717B (zh) | 2017-08-04 |
EP2797051B1 (en) | 2021-04-07 |
JP2014215926A (ja) | 2014-11-17 |
CN104123717A (zh) | 2014-10-29 |
US9189861B2 (en) | 2015-11-17 |
US20140321748A1 (en) | 2014-10-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6135283B2 (ja) | 画像処理装置、画像処理方法、プログラムおよび記録媒体 | |
CN109325954B (zh) | 图像分割方法、装置及电子设备 | |
JP7236545B2 (ja) | ビデオターゲット追跡方法と装置、コンピュータ装置、プログラム | |
Wang et al. | Detect globally, refine locally: A novel approach to saliency detection | |
Hu et al. | Maskrnn: Instance level video object segmentation | |
JP7490141B2 (ja) | 画像検出方法、モデルトレーニング方法、画像検出装置、トレーニング装置、機器及びプログラム | |
JP7266106B2 (ja) | 画像座標系の変換方法並びにその、装置、機器およびコンピュータプログラム | |
CN104915972B (zh) | 图像处理装置、图像处理方法以及程序 | |
CN109643448A (zh) | 机器人系统中的细粒度物体识别 | |
US9367762B2 (en) | Image processing device and method, and computer readable medium | |
US9536321B2 (en) | Apparatus and method for foreground object segmentation | |
US10580143B2 (en) | High-fidelity 3D reconstruction using facial features lookup and skeletal poses in voxel models | |
CN110473185A (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
CN107944403B (zh) | 一种图像中的行人属性检测方法及装置 | |
US20160092726A1 (en) | Using gestures to train hand detection in ego-centric video | |
WO2019071976A1 (zh) | 基于区域增长和眼动模型的全景图像显著性检测方法 | |
JP2012243313A (ja) | 画像処理方法および画像処理装置 | |
CN110176024B (zh) | 在视频中对目标进行检测的方法、装置、设备和存储介质 | |
US10096114B1 (en) | Determining multiple camera positions from multiple videos | |
CN110276831B (zh) | 三维模型的建构方法和装置、设备、计算机可读存储介质 | |
CN111311475A (zh) | 检测模型训练方法、装置、存储介质和计算机设备 | |
KR101833943B1 (ko) | 동영상의 주요 장면을 추출 및 탐색하는 방법 및 시스템 | |
US20140198177A1 (en) | Realtime photo retouching of live video | |
CN115909445A (zh) | 人脸图像伪造检测方法及相关设备 | |
Wu et al. | Single-image shadow removal using detail extraction and illumination estimation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20151023 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20151028 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160304 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20160527 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170223 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170328 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170410 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6135283 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |