JP6192271B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

画像処理装置、画像処理方法及びプログラム Download PDF

Info

Publication number
JP6192271B2
JP6192271B2 JP2012183451A JP2012183451A JP6192271B2 JP 6192271 B2 JP6192271 B2 JP 6192271B2 JP 2012183451 A JP2012183451 A JP 2012183451A JP 2012183451 A JP2012183451 A JP 2012183451A JP 6192271 B2 JP6192271 B2 JP 6192271B2
Authority
JP
Japan
Prior art keywords
image
regions
region
divided
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012183451A
Other languages
English (en)
Other versions
JP2014041476A (ja
Inventor
矢野 光太郎
光太郎 矢野
直嗣 佐川
直嗣 佐川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2012183451A priority Critical patent/JP6192271B2/ja
Priority to US13/970,999 priority patent/US9317784B2/en
Publication of JP2014041476A publication Critical patent/JP2014041476A/ja
Application granted granted Critical
Publication of JP6192271B2 publication Critical patent/JP6192271B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/162Segmentation; Edge detection involving graph-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Description

本発明は、特に、画像を複数のクラスに分類するために用いて好適な画像処理装置、画像処理方法、及びプログラムに関する。
従来、意味のある複数の領域に画像を分割する研究が行われている(例えば、非特許文献1参照)。このような処理においては、まず、スーパーピクセルと呼ばれる隣接した複数の画素からなる小領域に画像を分割し、分割した領域から夫々特徴量を抽出する。そして、抽出した特徴量をもとに領域を統合し、統合した領域をそれぞれカテゴリーに分類を行う方法が一般的である。例えば、非特許文献2に記載の方法では、事前に学習したニューラルネットワークによって、夫々の領域を空、木、道路等のクラスに分類している。
一方、前処理として画像をスーパーピクセルに分割する方法としては、クラスタリングやグラフ表現が用いられている(例えば、非特許文献3及び4参照)。
M. Everingham, L. Van Gool, C.K.I. Williams, J. Winn, and A. Zisserman. The PASCAL Visual Object Classes (VOC) challenge. International Journal of Computer Vision. vol. 88 (2), 2010 Richard Socher, Cliff Lin, Andrew Y. Ng, and Christopher D. Manning. Parsing Natural Scenes and Natural Language with Recursive Neural Networks. ICML 2011 Radhakrishna Achanta, Appu Shaji, Kevin Smith, Aurelien Lucchi, Pascal Fua, and Sabine Susstrunk. SLIC Superpixels. EPFL Technical Report 149300, June 2010 Felzenszwalb, P., Huttenlocher, D. Efficient graph-based image segmentation. International Journal of Computer Vision. 2004 Dalal and Triggs. Histograms of Oriented Gradients for Human Detection. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR2005)
しかしながら、例えば、非特許文献3または4に記載されている方法を用いて画像をスーパーピクセルに分割し、分割したスーパーピクセルを用いて非特許文献2に記載されている方法により画像を意味のある領域に分類しようとすると、以下のような問題がある。例えば、分割するスーパーピクセルをある程度粗く分割すると、物体間の境界が精度良く抽出できない。一方、境界精度が出るように分割するスーパーピクセルを細かく分割すると、スーパーピクセルの数が多いために後段の処理量が多くなってしまう。
本発明は前述の問題点に鑑み、スーパーピクセルの数が多くなり過ぎないようにするとともに、物体間の境界が精度良く抽出できるようにすることを目的としている。
本発明の画像処理装置は、入力された画像から物体の位置を検出する物体検出手段と、前記物体検出手段による検出結果に応じて、前記画像を隣接した類似画素からなる複数の領域に分割する分割手段とを有し、前記分割手段は、前記物体検出手段による検出結果に応じて、前記画像を該画像内の位置毎に定まる大きさの複数の領域に分割し、前記物体の領域を、前記物体の領域内の各位置に対して事前に設定された前記物体の境界である確率に基づいて定まる大きさの複数の領域に分割することを特徴とする。
本発明によれば、分割するスーパーピクセルの数が多くなり過ぎないようにするともに、物体間の境界を精度良く抽出することができる。
実施形態に係る画像処理装置の機能構成例を示すブロック図である。 実施形態において、画像データを取得して画像を複数の領域に分類する処理手順の一例を示すフローチャートである。 入力層、中間層、出力層のニューロンからなる3層構造のRNNの一例を示す図である。 第1の実施形態における図2のS204の領域分割処理の詳細な手順の一例を示すフローチャートである。 取得した画像及び人物を検出した処理結果の一例を示す図である。 第1の実施形態における確率分布p(x|c)を可視化した様子を示す図である。 第1の実施形態において、図2のS203で設定したパラメータ(間隔S)を可視化した様子を示す図である。 第1の実施形態及び従来の方法によりクラスタの中心が設定された画像の一例を示す図である。 第1の実施形態及び従来の方法によりクラスタの中心をもとに分割した結果を示す図である。 第2の実施形態における図2のS204の領域分割処理の詳細な手順の一例を示すフローチャートである。
(第1の実施形態)
以下、添付図面を参照して、本発明を好適な実施形態に従って詳細に説明する。以下、本実施形態では、画像を意味のある複数の領域に分割する例について説明する。
図1は、本実施形態に係る画像処理装置100の機能構成例を示すブロック図である。
図1において、画像取得部101は、画像データを取得する撮像装置、及び取得した画像データを記憶する画像メモリにより構成されている。
物体検出部102は、画像中の物体の位置を矩形領域として検出するハードウェア回路により構成されている。パラメータ設定部103は、画像内の位置に応じて画像を分割する領域の大きさを制御するパラメータを設定する。領域分割部104は、隣接した類似画素からなる複数の領域に画像を分割する。特徴抽出部105は、分割した画像領域から特徴量を抽出する。領域分類部106は、抽出した特徴量から画像領域が属するクラスを判別する。本実施形態においては、パラメータ設定部103、領域分割部104、特徴抽出部105及び領域分類部106は、汎用のコンピュータが機能することにより構成される。
以下、本実施形態の動作について説明する。以下、非特許文献3に記載の方法に基づいて画像をスーパーピクセルに分割し、分割したスーパーピクセルを非特許文献2に記載の方法で分類する例に基づいて説明する。
図2は、本実施形態において、画像データを取得して画像を複数の領域に分類する処理手順の一例を示すフローチャートである。
まず、画像取得部101は、被写体を撮像することにより領域分割処理の対象とする画像データを取得し、取得した画像データを画像メモリに記憶する(S201)。このとき、取得する画像データは、RGBの3つの色成分から成るカラー画像のデータである。
次に、物体検出部102は、S201で取得した画像データから人物の位置及び大きさを矩形領域として検出する(S202)。人物を検出する方法としては、例えば非特許文献5に開示されている方法を用いる。この場合、物体検出部102は、この人物検出方法を行う、例えばFPGA(Field-Programmable Gate Array)でハードウェア実装されている。
次に、パラメータ設定部103は、領域分割部104が行う領域分割処理に用いるパラメータを、S202の結果をもとに画像内の位置に応じて設定する(S203)。なお、この処理の詳細については後述する。次に、領域分割部104は、S203で設定したパラメータを用いて、S201で取得した画像を隣接した類似画素からなる複数の領域(スーパーピクセル)に分割する(S204)。なお、この処理の詳細についても後述する。
次に、特徴抽出部105は、S204で分割したスーパーピクセルから特徴量を抽出する(S205)。本実施形態で抽出する特徴量は、スーパーピクセルの色特徴、テクスチャ特徴、幾何特徴、及び位置特徴である。色特徴とは、RGB夫々の色成分についてスーパーピクセル内の画素の平均、分散、歪度、及び尖度である。この他、RGBをYCbCrやCIELAB色空間に変換した色成分についてスーパーピクセル内の画素の平均、分散、歪度、及び尖度をさらに抽出してもよい。
テクスチャ特徴とは、輝度画像(YCbCrのY成分)を複数のスケールおよび方向でガボールフィルタ処理を行った画像に対してスーパーピクセル内の画素の平均、分散、歪度、及び尖度を抽出したものである。この他、複数のスケールでLOG(Laplacian Of Gaussian)処理を行った画像に対してスーパーピクセル内の画素の平均、分散、歪度、及び尖度をさらに抽出してもよい。
また、幾何特徴とは、スーパーピクセル内の画素の面積(画素数)、周長(領域境界の画素数)、各画素の位置座標を(x,y)で表した場合のx座標の二次モーメント、y座標の二次モーメント、及びxyモーメントである。すなわち、位置特徴はスーパーピクセル内の画素のx座標、y座標夫々の重心、及び重心座標を(xg,yg)とした場合のxg 2+yg 2の値である。これらの抽出した特徴量は、一つのスーパーピクセルから抽出する特徴量の数をdとしたd次元の特徴ベクトルとして、スーパーピクセル毎に汎用コンピュータのメモリに保持される。
次に、領域分類部106は、S205で抽出した特徴量から夫々の画像領域が属するクラスを判別する(S206)。S206のクラス判別は、例えば図3に示すような3層構造のRNN(Recursive Neural Networks)により行う。図3において、I、M、Oは夫々入力層、中間層、出力層のニューロンである。まず、S205で抽出した特徴量(d次元の特徴ベクトル)をFrawとすると、入力層Iのニューロンはd個であり、夫々特徴ベクトルを構成する一つの特徴量を入力し、そのまま中間層Mに伝達する。中間層Mの数をdm、出力する特徴をFsemとすると、Fsemはdm次元の特徴ベクトルであり、以下の式(1)により算出される。
sem=f(Wbraw) ・・・(1)
但し、Wbは入力層I及び中間層Mの結合係数を表すd×dmの行列であり、fはシグモイド関数である。
また、出力層Oは、do個の値Fout(do次元の特徴ベクトル)を以下の式(2)により算出し、出力する。
out=Wcsem ・・・(2)
但し、Wcは中間層Mと出力層Oの結合係数を表すdm×doの行列であり、doは判別するクラスの数である。なお、Wb、Wcは非特許文献2に記載されている方法によって事前学習により定められる。そして、領域分類部106は、出力層Oが出力するFoutのうち、最も大きい値を返すクラスを判別結果として出力する。
次に、S204の領域分割処理の詳細について説明する。図4は、S204の領域分割処理の詳細な手順の一例を示すフローチャートである。
まず、入力されたRGBの成分からなる画像を、CIELAB色空間に変換する(S401)。
次に、領域分割する際のクラスタの中心を、S203で設定したパラメータを用いて設定する(S402)。この処理では、非特許文献3に記載されている方法により、クラスタの中心を設定する。領域分割する画像の画素数をN、分割数をKとし、おおよそ同じ大きさのスーパーピクセルに分割することを想定すると、スーパーピクセルの中心の間隔Sは、N/Kの平方根になる。したがって、単純には間隔Sの位置にクラスタの中心の座標を均等に設定する。
次に、S402で設定したクラスタの中心の位置を輝度勾配の小さい近傍の画素位置に移動する(S403)。すなわち、S402で設定したクラスタの中心の、例えば3×3画素の近傍領域において輝度勾配を算出し、輝度勾配が最小になる画素位置にクラスタの中心を移動する。これはクラスタの中心をエッジやノイズ画素に配置しないようにするためである。
次に、画素のクラスタリングを行う(S404)。この処理では、クラスタの中心の画素とそれ以外の画素との全ての組合せにおいて距離測度を算出し、クラスタの中心以外の夫々の画素を距離測度の最も小さいクラスタの中心に割り当てる。ここで、距離測度Dsについては以下の式(3)により算出する。
但し、(lk,ak,bk)はクラスタの中心(xk,yk)におけるCIELAB色空間座標であり、(li,ai,bi)はクラスタの中心以外の画素(xi,yi)におけるCIELAB色空間座標である。また、mは距離測度を算出するための重み定数である。
次に、S404で行われたクラスタリングの結果を反映して、クラスタの中心を再計算する(S405)。すなわち、クラスタ毎に位置座標の重心を算出し、新しいクラスタの中心とする。また、その際、元のクラスタの中心と新しいクラスタの中心との位置ずれ量を求めておく。
次に、S405で算出した、元のクラスタの中心と新しいクラスタの中心との位置ずれ量の全クラスタでの総和を算出し、算出結果に基づいてクラスタリング処理が収束したか否かを判定する。ここで、位置ずれ量の総和が所定の値より大きい場合にはクラスタリング処理が収束していないと判定し、S404に戻る。一方、その他の場合は収束と判定し、クラスタリングした結果をスーパーピクセルとして保持し、処理を終了する。
次に、図2のS203における、物体検出結果に基づいてパラメータを設定する処理、及び図4のS402におけるクラスタの中心を設定する処理について詳細を説明する。
図2のS203におけるパラメータを設定する処理では、図4のS402でクラスタの中心を設定するのに用いる間隔Sの値を画像内の位置に応じて設定する。図5(a)には、S201で取得した画像の一例を示し、図5(b)には、図2のS202における人物を検出する処理の結果を示す。図5(b)における矩形501は、検出した人物の位置を示すものである。まず、矩形501外の領域に対しては間隔Sを所定の値S0に設定する。一方、矩形内の領域に対しては、矩形内の各位置が人物の境界部にあたる事前確率にもとづいて間隔Sを位置毎に設定する。すなわち、以下の式(4)によって間隔Sを設定する。
S=K・p(x|c) ・・・(4)
但し、p(x|c)は、事前に人物を含む多くのサンプルを物体検出部102で処理して検出した矩形から得た、矩形内の位置xにおける画素が人物の境界cである確率分布である。また、Kは所定の定数であり、S≦S0となるように設定する。図6には、確率分布p(x|c)を可視化した様子を示す。図6においては、明るい画素ほど境界cである確率が高いことを示している。また、図7には、S203で設定したパラメータ(間隔S)を可視化した様子を示す。図7においては、明るい画素ほどパラメータ(間隔S)が小さいことを示す。
図4のS402におけるクラスタの中心を設定する処理では、クラスタの中心を図2のS203で設定したパラメータ(間隔S)を用いて設定する。すなわち、画像の左上端の所定の位置xsを最初に設定するクラスタの中心の位置とし、位置xsにおける間隔Sを取得し、クラスタ中心間の間隔がSとなるように右方向に次のクラスタの中心の位置を求める。この処理を画像の右端まで繰り返す。同様にして、クラスタ中心間の間隔がSとなるように下方向に次のクラスタの中心の位置を求め、この処理を画像の下端まで繰り返す。
図8(a)には、上述した方法によりクラスタの中心が設定された画像の一例を示す。また、図8(b)には、従来の方法によりクラスタの中心を均等間隔に設定した例を示す。また、図9(b)には、図9(a)の矩形部分900に対して、本実施形態の処理によってクラスタの中心をもとに分割した結果を示す。なお、比較例として図9(c)には、図9(a)の矩形部分900に対して、従来の処理によってクラスタの中心をもとに分割した結果を示す。本実施形態では、クラスタの中心を人物の境界付近で密に設定するようにしたので、従来に比べ、より少ない領域数で重要な被写体である人物の境界付近で詳細に領域を分割することが可能となる。
(第2の実施形態)
第1の実施形態では、非特許文献3に記載の方法に基づいて画像をスーパーピクセルに分割する処理する例について説明したが、その他の方法によりスーパーピクセルに分割することもできる。以下、グラフ表現を用いた非特許文献4に記載の方法に基づいてスーパーピクセルに分割する例について説明する。なお、本実施形態に係る画像処理装置の構成は、第1の実施形態と同様であるため、説明は省略する。また、画像データを取得して画像を複数の領域に分類する一連の流れについても図2と同様であるため、説明は省略する。
図10は、本実施形態による図2のS204における領域を分割する処理手順の一例を示すフローチャートである。
まず、入力画像の各画素を頂点とし、各画素と周囲8方向の隣接画素との組合せをエッジとするグラフを作成する(S1001)。
次に、S1001で作成したグラフの全エッジの重みを算出し、エッジ重みの小さい順にソートを行う(S1002)。エッジ重みwijは以下の式(5)のにより算出される。
但し、(Ri,Gi,Bi)、(Rj,Gj,Bj)は夫々、エッジの頂点i、jに対応する画素のRGB成分である。すなわち、ここでは2つの画素のRGB色空間における距離をエッジ重みとする。
次に、S1001で作成したグラフから、S1002のソート結果を参照して最も小さい重みを持つエッジを選択する(S1003)。そして、S1003で選択したエッジの頂点に対応する夫々の画素について、画素を含む領域を検索し、領域同士の結合の判定を行う(S1004)。但し、初期状態においては、領域は画素そのものを単位とする。領域同士の結合の判定は、2つの領域間の特徴量の違いと夫々の領域内の特徴量の違いとの比較に基づいて行い、S1002で算出したエッジ重みを利用する。領域間の違いDif(Ci,Cj)は、以下の式(6)により算出される。
但し、Ci,Cjは判定する2つの領域であり、min(wkl)は領域Ciに属する頂点(ここでは画素)kと領域Cjに属する頂点(ここでは画素)lのエッジのうち、S1002で算出したエッジ重みの最小値である。また、領域内の違いMInt(Ci,Cj)は以下の式(7)により算出される。
但し、Int(C)=max(wkl)であり、領域Cに属する2つの頂点(ここでは画素)k及び頂点(ここでは画素)lのエッジのうち、S1002で算出したエッジ重みの最大値である。また、τ(C)=Kc/|C|であり、|C|は領域Cの面積であり、Kcは領域同士の結合のし易さを制御するパラメータである。
S1004では、領域間の違いDif(Ci,Cj)が領域内の違いMInt(Ci,Cj)よりも大きい場合には2つの領域の違いが大きいことから結合は行わないものと判定する。一方、それ以外の場合には2つの領域が類似していると判定して領域を結合するものと判定する。領域を結合する場合は結合後の領域に対してInt(C)を更新しておく。
次に、全てのエッジについて処理を行ったかどうかを判定する(S1005)。この判定の結果、未処理のエッジがある場合にはS1003に戻り、全てのエッジについて処理を行った場合にはS1006に進む。そして、全ての領域について領域の大きさを求め、所定サイズ以下の領域になるように周囲の領域と結合し(S1006)、処理を終了する。この結果、結合して生成された領域がスーパーピクセルとなる。
次に、上述したグラフ表現ベースの領域分割処理に物体検出結果を利用する方法について説明する。図2のS203におけるパラメータを設定する処理では、図10のS1004で領域の結合判定を行うために、結合後の領域の大きさの上限Szmaxを画像内の位置に応じて設定する。すなわち、図5(b)に示す矩形501外の領域に対しては、領域の大きさの上限Szmaxを所定の値S0zmaxに設定する。一方、矩形501内の領域に対しては、第1の実施形態と同様に、矩形501内の各位置が人物の境界にあたる事前確率に基づいて領域の大きさの上限Szmaxを位置毎に設定する。すなわち、以下の式(8)に従って設定する。
zmax=Kzmax・p(x|c) ・・・(8)
但し、Kzmaxは所定の定数であり、Szmax≦S0zmaxとなるように設定される。
図10のS1004における領域の結合判定を行う処理では、結合の判定を行う前に結合対象の2つの領域の大きさから結合後の領域の大きさを求め、求めた大きさがS203で設定した領域の大きさの上限Szmaxを超えるかどうかを判定する。そして、結合後の領域の大きさが領域の大きさの上限Szmaxを超える場合は領域を結合しないものと判定する。一方、結合後の領域の大きさが領域の大きさの上限Szmaxを超えない場合は領域同士の結合の判定を行い、2つの領域が類似していると判定した場合は領域を結合するものと判定する。このように人物境界付近とそれ以外で結合する領域の大きさの上限を適応的に設定することにより、従来に比べ、より少ない領域数で重要な被写体である人物の境界付近で詳細に領域を分割することができる。
(その他の実施形態)
なお、第2の実施形態では、結合する領域の大きさの上限によって領域分割処理を制御するようにしたが、他の方法による制御も可能である。例えば、S203で、S1004の処理における領域同士の結合のし易さを制御するパラメータKcを物体の検出位置に応じて設定するようにする。これにより、人物の境界付近ではパラメータKcを他の領域よりも小さく設定することで他の領域よりも領域同士が結合しにくくすることができる。
また、上述した実施形態では、S203において領域の大きさを制御し、検出した人物の境界付近で詳細に領域を分割するようにパラメータを設定したが、領域の数を制御するようにパラメータを設定してもよい。例えば、非特許文献4に記載の方法に基づいて領域分割処理を行う場合、人物の境界付近においては、前述した領域同士の結合のし易さを制御するパラメータKcを異なる複数の値に設定する。そして、S204では、それぞれのパラメータに基づいて領域を分割する際には、人物の境界付近では領域の数が多くなるようにする。また、このとき、分割した領域同士が重複するので、重複する画素ではS206においてスーパーピクセル毎に求めた出力Foutを加算し、出力値の総和が最も大きい値を返すクラスを判別結果として出力するようにする。
以上の方法により、人物の境界付近では複数のパラメータで領域を分割した結果のうち、いずれかの処理結果で精度良く境界が得られている場合には、画像を意味のある複数の領域に分割する境界の精度を向上させることが可能である。なお、複数の値を設定するパラメータは領域同士の結合のし易さを制御するパラメータKcに限らない。その他に、検出した人物の境界付近で複数の異なる方式の領域分割処理を適用するようにしても、人物の境界付近で領域の数が多くすることができ、同等の効果が得られる。例えば、人物の境界付近において非特許文献3及び非特許文献4に記載の方法に基づく両方の処理を適用するようにする。
また、上述した各実施形態では、人物の検出結果を利用して人物の境界付近を詳細に領域分割するようにしたが、本発明は人物以外の領域の境界の制御にも適用可能である。例えば、画像中の人物の位置を検出すると、その結果から空の位置を推定することができる。空は画像中で大きな領域を占めるのが一般的であるので、人物の検出結果を利用して検出した位置の上方ではそれ以外の領域よりも領域の大きさが大きくなるようにパラメータを設定するようにすればよい。
また、上述した各実施形態では、人物検出処理の結果を利用するようにしたが、例えば、顔検出処理の結果を適用してもよい。また、監視カメラのように同じシーンを撮影するような場合には、背景画像と入力画像との背景の差分を利用するようにしてもよい。すなわち、背景の差分を抽出する処理で得られた変化領域を物体領域として本発明を適用する。
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
102 物体検出部
103 パラメータ設定部
104 領域分割部

Claims (10)

  1. 入力された画像から物体の位置を検出する物体検出手段と、
    前記物体検出手段による検出結果に応じて、前記画像を隣接した類似画素からなる複数の領域に分割する分割手段とを有し、
    前記分割手段は、前記物体検出手段による検出結果に応じて、前記画像を該画像内の位置毎に定まる大きさの複数の領域に分割し、前記物体の領域を、前記物体の領域内の各位置に対して事前に設定された前記物体の境界である確率に基づいて定まる大きさの複数の領域に分割することを特徴とする画像処理装置。
  2. 前記画像内の位置に応じて前記分割する領域の大きさを制御するパラメータを設定する設定手段を有し、
    前記分割手段は、前記設定手段によって設定されたパラメータに従って前記画像を複数の領域に分割することを特徴とする請求項1に記載の画像処理装置。
  3. 前記設定手段は、前記物体検出手段によって検出された物体の境界部において前記分割する領域の大きさが小さくなるように前記パラメータを設定することを特徴とする請求項2に記載の画像処理装置。
  4. 前記設定手段は、クラスタの中心の間隔を前記パラメータとして設定し、
    前記分割手段は、画素のクラスタリングによって前記画像を分割することを特徴とする請求項2又は3に記載の画像処理装置。
  5. 前記設定手段は、画素の単位を最小とする領域同士の結合を繰り返すことによって生成される領域の大きさの上限を前記パラメータとして設定し、
    前記分割手段は、前記設定したパラメータに従って領域同士の結合を繰り返すことによって生成される領域の単位で前記画像を分割することを特徴とする請求項2又は3に記載の画像処理装置。
  6. 前記設定手段は、画素の単位を最小とする領域同士の結合のしやすさを制御するパラメータを設定し、
    前記分割手段は、前記設定したパラメータに従って領域同士の結合を繰り返すことによって生成される領域の単位で前記画像を分割することを特徴とする請求項2又は3に記載の画像処理装置。
  7. 前記分割手段は、前記物体の領域のうち前記物体の境界である確率が高い領域程より小さなサイズの複数の領域に分割することを特徴とする請求項に記載の画像処理装置。
  8. 前記分割手段によって分割された夫々の領域から特徴量を抽出し、前記抽出した特徴量に基づいて前記分割された夫々の領域を複数のクラスに分類する分類手段を有することを特徴とする請求項1乃至の何れか1項に記載の画像処理装置。
  9. 入力された画像から物体の位置を検出する物体検出工程と、
    前記物体検出工程における検出結果に応じて、前記画像を隣接した類似画素からなる複数の領域に分割する分割工程とを有し、
    前記分割工程においては、前記物体検出工程における検出結果に応じて、前記画像を該画像内の位置毎に定まる大きさの複数の領域に分割し、前記物体の領域を、前記物体の領域内の各位置に対して事前に設定された前記物体の境界である確率に基づいて定まる大きさの複数の領域に分割することを特徴とする画像処理方法。
  10. 入力された画像から物体の位置を検出する物体検出工程と、
    前記物体検出工程における検出結果に応じて、前記画像を隣接した類似画素からなる複数の領域に分割する分割工程とをコンピュータに実行させ、
    前記分割工程においては、前記物体検出工程における検出結果に応じて、前記画像を該画像内の位置毎に定まる大きさの複数の領域に分割し、前記物体の領域を、前記物体の領域内の各位置に対して事前に設定された前記物体の境界である確率に基づいて定まる大きさの複数の領域に分割することを特徴とするプログラム。
JP2012183451A 2012-08-22 2012-08-22 画像処理装置、画像処理方法及びプログラム Expired - Fee Related JP6192271B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2012183451A JP6192271B2 (ja) 2012-08-22 2012-08-22 画像処理装置、画像処理方法及びプログラム
US13/970,999 US9317784B2 (en) 2012-08-22 2013-08-20 Image processing apparatus, image processing method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012183451A JP6192271B2 (ja) 2012-08-22 2012-08-22 画像処理装置、画像処理方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2014041476A JP2014041476A (ja) 2014-03-06
JP6192271B2 true JP6192271B2 (ja) 2017-09-06

Family

ID=50148039

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012183451A Expired - Fee Related JP6192271B2 (ja) 2012-08-22 2012-08-22 画像処理装置、画像処理方法及びプログラム

Country Status (2)

Country Link
US (1) US9317784B2 (ja)
JP (1) JP6192271B2 (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9813707B2 (en) * 2010-01-22 2017-11-07 Thomson Licensing Dtv Data pruning for video compression using example-based super-resolution
KR101789845B1 (ko) 2010-01-22 2017-11-20 톰슨 라이센싱 샘플링 기반 초 해상도 비디오 인코딩 및 디코딩을 위한 방법 및 장치
US9338477B2 (en) 2010-09-10 2016-05-10 Thomson Licensing Recovering a pruned version of a picture in a video sequence for example-based data pruning using intra-frame patch similarity
US9544598B2 (en) 2010-09-10 2017-01-10 Thomson Licensing Methods and apparatus for pruning decision optimization in example-based data pruning compression
CN104346801B (zh) * 2013-08-02 2018-07-20 佳能株式会社 图像构图评估装置、信息处理装置及其方法
JP6351240B2 (ja) * 2013-11-20 2018-07-04 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP6338429B2 (ja) * 2014-04-15 2018-06-06 キヤノン株式会社 被写体検出装置、被写体検出方法及びプログラム
JP6546385B2 (ja) * 2014-10-02 2019-07-17 キヤノン株式会社 画像処理装置及びその制御方法、プログラム
US9659384B2 (en) * 2014-10-03 2017-05-23 EyeEm Mobile GmbH. Systems, methods, and computer program products for searching and sorting images by aesthetic quality
CN105631455B (zh) * 2014-10-27 2019-07-05 阿里巴巴集团控股有限公司 一种图像主体提取方法及系统
CN105512670B (zh) * 2015-11-04 2019-04-02 上海大学 基于keca特征降维和聚类的hrct周围神经分割
CN106803056B (zh) * 2015-11-26 2020-11-06 华为技术有限公司 一种肢体关系的估计方法及装置
JP6815741B2 (ja) * 2016-03-30 2021-01-20 キヤノン株式会社 画像処理装置および画像処理方法
EP3535685A1 (en) * 2016-11-02 2019-09-11 Ventana Medical Systems, Inc. Systems and methods for encoding image features of high-resolution digital images of biological specimens
DE102016223859A1 (de) * 2016-11-30 2018-05-30 Robert Bosch Gmbh Kamera zur Überwachung eines Überwachungsbereiches und Überwachungsvorrichtung sowie Verfahren zur Überwachung eines Überwachungsbereiches
CN109345536B (zh) * 2018-08-16 2021-02-09 广州视源电子科技股份有限公司 一种图像超像素分割方法及其装置
JP7428052B2 (ja) * 2020-03-31 2024-02-06 コベルコ建機株式会社 作業機械の周囲検知装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4062987B2 (ja) * 2002-06-25 2008-03-19 松下電工株式会社 画像の領域分割方法、画像の領域分割装置、画像の領域分割プログラム
US7295711B1 (en) * 2002-10-23 2007-11-13 Altera Corporation Method and apparatus for merging related image segments
US7596265B2 (en) * 2004-09-23 2009-09-29 Hewlett-Packard Development Company, L.P. Segmenting pixels in an image based on orientation-dependent adaptive thresholds
US20060170769A1 (en) * 2005-01-31 2006-08-03 Jianpeng Zhou Human and object recognition in digital video
US20080024485A1 (en) * 2006-07-18 2008-01-31 William Barrett Multi-dimensional image display method apparatus and system
RU2444788C2 (ru) * 2007-06-01 2012-03-10 Эксонмобил Апстрим Рисерч Компани Создание ограниченной сетки вороного на плоскости
JP5155250B2 (ja) * 2009-05-29 2013-03-06 セコム株式会社 対象物検出装置

Also Published As

Publication number Publication date
JP2014041476A (ja) 2014-03-06
US20140056518A1 (en) 2014-02-27
US9317784B2 (en) 2016-04-19

Similar Documents

Publication Publication Date Title
JP6192271B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP6341650B2 (ja) 画像処理装置、画像処理方法及びプログラム
EP3333768A1 (en) Method and apparatus for detecting target
US12002259B2 (en) Image processing apparatus, training apparatus, image processing method, training method, and storage medium
CN112836687B (zh) 视频行为分割方法、装置、计算机设备及介质
Khairnar et al. Disease detection and diagnosis on plant using image processing—a review
JP6351240B2 (ja) 画像処理装置、画像処理方法及びプログラム
WO2020062360A1 (zh) 一种图像融合分类的方法及装置
JP2017157138A (ja) 画像認識装置、画像認識方法及びプログラム
JP4098021B2 (ja) シーン識別方法および装置ならびにプログラム
CN109615614B (zh) 基于多特征融合的眼底图像中血管的提取方法与电子设备
Agrawal et al. Survey on image segmentation techniques and color models
CN108345835B (zh) 一种基于仿复眼感知的目标识别方法
CN112464850A (zh) 图像处理方法、装置、计算机设备及介质
JP5464739B2 (ja) 画像領域分割装置、画像領域分割方法および画像領域分割プログラム
CN107368832A (zh) 基于图像的目标检测及分类方法
CN111160372B (zh) 一种基于高速卷积神经网络的大目标识别方法
JP4285640B2 (ja) オブジェクト識別方法および装置ならびにプログラム
KR20180092453A (ko) Cnn과 스테레오 이미지를 이용한 얼굴 인식 방법
CN110795995A (zh) 数据处理方法、装置及计算机可读存储介质
Secord et al. Tree detection in aerial lidar and image data
CN113240611A (zh) 一种基于图片序列的异物检测方法
Dalla Mura et al. Classification of hyperspectral images by using morphological attribute filters and independent component analysis
CN117292133B (zh) 一种自然图像的超像素分割方法及装置
Xiang et al. A Deep Learning Algorithm for Particle Segmentation of Aerosol Images

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150824

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160707

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160712

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160909

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170131

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170331

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170711

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170808

R151 Written notification of patent or utility model registration

Ref document number: 6192271

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees