JP4905931B2 - 人体領域抽出方法および装置並びにプログラム - Google Patents

人体領域抽出方法および装置並びにプログラム Download PDF

Info

Publication number
JP4905931B2
JP4905931B2 JP2006184019A JP2006184019A JP4905931B2 JP 4905931 B2 JP4905931 B2 JP 4905931B2 JP 2006184019 A JP2006184019 A JP 2006184019A JP 2006184019 A JP2006184019 A JP 2006184019A JP 4905931 B2 JP4905931 B2 JP 4905931B2
Authority
JP
Japan
Prior art keywords
region
human body
area
estimation
determined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2006184019A
Other languages
English (en)
Other versions
JP2008015641A (ja
Inventor
軼 胡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2006184019A priority Critical patent/JP4905931B2/ja
Priority to US11/822,087 priority patent/US8023701B2/en
Publication of JP2008015641A publication Critical patent/JP2008015641A/ja
Application granted granted Critical
Publication of JP4905931B2 publication Critical patent/JP4905931B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/165Detection; Localisation; Normalisation using facial parts and geometric relationships

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Description

本発明は、画像中の人体領域を抽出する人体領域抽出方法および装置並びにそのためのプログラムに関するものである。
画像の分類、自動トリミングおよび電子アルバムの作成などの画像編集のためには、画像における人体領域の抽出とポーズの認識が期待されている。画像中の人体領域を背景と分離して抽出する技術としては、たとえば特許文献1に示されているように、予め定めた特定の背景を用いて人物を撮影し、画像中の人体領域をその特定の背景との色の違いを利用して抜き取ることにより背景から分離する方法が知られている。
上述した特定の背景設定を必要とする方法のみならず、非特許文献1では、画像中の人体領域と背景の一部の情報をあらかじめ手動で与えることにより、任意の背景を有する画像中の人体領域を背景から分離する方法が提案されている。この人体領域と背景の一部をあらかじめ指定する方法は、主にインタラクティブな切抜きの場合に多く使われている。
また、非特許文献2では、全体の画像に対して領域分割処理を行い、分割された各部分領域の形状、色、テクスチャ等の特徴に基づいてその部分領域が人物領域の一部であるかどうかを判断し、人物領域の一部であると判断された部分領域の集合を人体領域として自動的に抽出する手法が提案されている。
特開2005−339363号公報 Yuri Y. Boykov, Marie-Pierre Jolly, "Interactive Graph Cuts for Optimal Boundary and Region Segmentation of Objects in N-D images" Proc. IEEE Int. Conf. on Computer Vision, 2001 Greg Mori, Xiaofeng Ren, Alexei A.Efros and Jitendra Malik, "Recovering Human Body Configurations: Combining Segmentation and Recognition", CVPR 2004
しかしながら、全体の画像に対して領域分割処理を行い、その分割された各部分領域の特徴に基づいて人体領域を抽出する非特許文献2において提案されている手法では、領域分割処理による分割の程度が人体抽出に適切でない場合、たとえば分割された部分領域が小さ過ぎて人体領域の一部であるかどうかを精度よく判断できない場合、分割された部分領域が大き過ぎて人体領域と背景領域との双方を含んでしまう場合等には、人体領域を正しく抽出できないという問題がある。この方法では、領域分割の程度により人体領域の抽出精度が強く影響を受けることになる。
本発明は、上記事情に鑑み、一般的な画像中の人体領域を自動的に抽出するとともに、その抽出性能をより向上させる人体領域抽出方法および装置並びにそのためのプログラムを提供することを目的とするものである。
本発明の人体領域抽出方法は、画像中の人体領域を抽出する方法であって、画像中の顔または顔部品を検出し、検出された顔または顔部品の位置情報から人体領域が含まれるであろう候補領域を決定し、決定された候補領域を構成する2画素以上の大きさの各単位領域が人体領域を含むか否かを判断し、人体領域を含むと判断された単位領域の集合を人体領域が含まれると推測される推測領域として決定し、決定された推測領域中の人体領域を抽出することを特徴とするものである。
上記方法においては、推測領域中の輪郭周辺領域に抽出された人体領域の少なくとも一部が存在するか否かを判断し、この輪郭周辺領域に抽出された人体領域が存在しないと判断されるまで、輪郭周辺領域に存在する人体領域の近傍かつ推測領域の外側に存在する近傍外側領域を含むように推測領域を拡張更新し、拡張更新された推測領域中の人体領域を抽出し、輪郭周辺領域に抽出された人体領域の少なくとも一部が存在するか否かを判断することを繰り返し行うことが望ましい。
本発明の人体領域抽出装置は、画像中の人体領域を抽出する装置であって、画像中の顔または顔部品を検出する顔検出手段と、検出された顔または顔部品の位置情報から人体領域が含まれるであろう候補領域を決定する候補領域決定手段と、決定された候補領域を構成する2画素以上の大きさの各単位領域が人体領域を含むか否かを判断する単位領域判断手段と、人体領域を含むと判断された単位領域の集合を人体領域が含まれると推測される推測領域として決定する推測領域決定手段と、決定された推測領域中の人体領域を抽出する人体領域抽出手段とを備えたことを特徴とするものである。
上記装置においては、推測領域中の輪郭周辺領域に抽出された人体領域の少なくとも一部が存在するか否かを判断する人体領域存在判断手段をさらに備え、推測領域決定手段、人体領域抽出手段および人体領域存在判断手段が、人体領域存在判断手段が輪郭周辺領域に抽出された人体領域が存在しないと判断するまで、輪郭周辺領域に存在する人体領域の近傍かつ推測領域の外側に存在する近傍外側領域を含むように推測領域を拡張更新し、拡張更新された推測領域中の人体領域を抽出し、輪郭周辺領域に抽出された人体領域の少なくとも一部が存在するか否かの判断することを繰り返し行うものであることが望ましい。
また、単位領域判断手段は、単位領域のそれぞれに対応させて設けられた、対応する単位領域が人体領域を含むか否かを判別する複数の判別器を備えたものであってもよい。
また、候補領域決定手段は、複数の候補領域を決定するものであり、単位領域判断手段は、決定された複数の候補領域の各々について該候補領域を構成する2画素以上の大きさの各単位領域が人体領域を含むか否かを判断するもの であり、推測領域決定手段は、各候補領域毎に人体領域を含むと判断された単位領域の集合を推測領域候補として決定し、決定された各推測領域候補の中から最適な推測領域候補を選定し、この選定された推測領域候補を人体領域が含まれると推測される推測領域として決定するものであってもよい。
また、人体領域抽出手段は、推測領域の画像データおよび推測領域の外側に位置する外部領域の画像データから推測領域中の各画素の評価値を算出し、その評価値に基づいて人体領域を抽出することができる。
また、人体領域抽出手段は、画像中の肌色情報をさらに用いて、人体領域を抽出することができる。
本発明の人体領域抽出プログラムは、画像中の人体領域を抽出するプログラムであって、コンピュータに、画像中の顔または顔部品を検出し、検出された顔または顔部品の位置情報から人体領域が含まれるであろう候補領域を決定し、決定された候補領域を構成する2画素以上の大きさの各単位領域が人体領域を含むか否かを判断し、人体領域を含むと判断された単位領域の集合を人体領域が含まれると推測される推測領域として決定し、決定された推測領域中の人体領域を抽出することを実行させるためのものである。
また、上記プログラムにおいては、推測領域中の輪郭周辺領域に抽出された人体領域の少なくとも一部が存在するか否かを判断し、この輪郭周辺領域に抽出された人体領域が存在しないと判断されるまで、輪郭周辺領域に存在する人体領域の近傍かつ推測領域の外側に存在する近傍外側領域を含むように推測領域を拡張更新し、拡張更新された推測領域中の人体領域を抽出し、輪郭周辺領域に抽出された人体領域の少なくとも一部が存在するか否かを判断することを繰り返し行うことをコンピュータに実行させることができる。
なお、候補領域の決定は、顔または顔部品の位置情報のみから決定してもよいし、位置情報とさらに他の情報、たとえば顔の場合位置情報と大きさ情報から決定するようにしてもよい。
また、「輪郭周辺領域」とは、推測領域内における該推測領域の輪郭から一定範囲内の領域を意味し、輪郭を含む一定範囲内の領域、輪郭を含まない一定範囲内の領域、または輪郭のみのいずれであってもよい。
本発明の人体領域抽出方法および装置並びにプログラムによれば、画像中の顔または顔部品を検出し、検出された顔または顔部品の位置情報から人体領域が含まれるであろう候補領域を決定し、決定された候補領域を構成する2画素以上の大きさの各単位領域が人体領域を含むか否かを判断し、人体領域を含むと判断された単位領域の集合を人体領域が含まれると推測される推測領域として決定し、決定された推測領域中の人体領域を抽出することにより、一般的な画像中の人体領域を精度よく自動抽出することができる。
すなわち、人体領域を抽出する1つの方法として、画像中の顔または顔部品を検出し、検出された顔または顔部品の位置情報に基づいて人体領域が含まれると推測される推測領域を決定し、この推測領域から人体領域を抽出する方法が考えられるが、この場合、推測領域は人体領域をより多く含むとともに背景領域をなるべく含まない領域であることが、人体領域を高精度に抽出する上で望ましい。しかるに、本発明では、顔または顔部品の位置情報からまず、人体領域が含まれるであろう候補領域を決定し、この候補領域を構成する多数の単位領域について人体領域を含むか否かを判断し、含むと判断された単位領域の集合を推測領域として決定しているので、人体領域をより多く含むとともに背景領域をなるべく含まない推測領域を決定することができ、その結果推測領域から人体領域を高精度で抽出することが出来る。
本発明の人体領域抽出方法および装置並びにプログラムにおいて、推測領域中の輪郭周辺領域に抽出された人体領域の少なくとも一部が存在するか否かを判断し、この輪郭周辺領域に抽出された人体領域が存在しないと判断されるまで、輪郭周辺領域に存在する人体領域の近傍かつ推測領域の外側に存在する近傍外側領域を含むように推測領域を拡張更新し、拡張更新された推測領域中の人体領域を抽出し、輪郭周辺領域に抽出された人体領域の少なくとも一部が存在するか否かを判断することを繰り返し行うようにすれば、人体領域が推測領域に収まらなかった場合であっても、その人体領域抽出結果に基づいて拡張更新された推測領域に収めることが可能となり、全体の人体領域を確実に抽出することができる。
また、単位領域判断手段が、単位領域のそれぞれに対応させて設けられた、対応する単位領域が人体領域を含むか否かを判別する複数の判別器を備えたものでる場合、精度良く効率的に判断を行うことができる。
また、候補領域決定手段が、複数の候補領域を決定するものであり、単位領域判断手段が、決定された複数の候補領域の各々について該候補領域を構成する2画素以上の大きさの各単位領域が人体領域を含むか否かを判断するものであり、推測領域決定手段が、各候補領域毎に人体領域を含むと判断された単位領域の集合を推測領域候補として決定し、決定された各推測領域候補の中から最適な推測領域候補を選定し、選定された推測領域候補を人体領域が含まれると推測される推測領域として決定するものである場合、さまざまな大きさや姿勢を有する人体領域に対して適切な推測領域を決定することができ、人体領域の抽出処理の精度を向上させることができる。
また、人体領域の抽出が、推測領域の画像データおよび推測領域の外側に位置する外部領域の画像データから推測領域中の各画素の評価値を算出し、その評価値に基づいて行なうものである場合、人体領域を多く含む推測領域の画像データおよび背景領域を多く含む推測領域の外側に位置する外部領域の画像データを用いることにより、推測領域の各画素が人体領域を示す画素であるかそれとも背景領域を示す画素であるかを適切に評価することができ、高精度で人体領域の抽出を行なうことができる。
また、人体領域の抽出が、画像中の肌色情報をさらに用いて行なうものである場合には、人体領域の抽出性能をより向上させることができる。
以下、図面を参照して本発明の人体領域抽出装置の実施の形態について説明する。なお、図1に示す本発明の一実施形態である人体領域抽出装置は、補助記憶装置に読み込まれた画像処理プログラムをコンピュータ(たとえばパーソナルコンピュータ等)上で実行することにより実現される。このとき、この画像処理プログラムは、CD−ROM等の情報記憶媒体に記憶され、もしくはインターネット等のネットワークを介して配布され、コンピュータにインストールされる。
本実施形態の人体領域抽出装置は、一般的な画像P中の人体領域を自動的に抽出するものであって、画像P中の顔部品の一つである両目Fを検出する顔検出手段10と、検出された両目Fの位置情報から人体領域が含まれるであろう複数の候補領域C(Cn、n=1〜K)を決定する候補領域決定手段20と、決定された複数の候補領域Cnの各々について該候補領域を構成するw×h画素の大きさの各単位領域Bij(i=1〜M、j=1〜N)が人体領域を含むか否かを判断する単位領域判断手段30と、各候補領域Cn毎に人体領域を含むと判断された単位領域Bijの集合を推測領域候補Enとして決定し、決定された各推測領域候補Enの中から最適な推測領域候補を選定し、選定された推測領域候補を人体領域が含まれると推測される推測領域Eとして決定する推測領域決定手段40と、決定された推測領域E中の人体領域Huを抽出する人体領域抽出手段50と、推測領域E中の輪郭周辺領域に抽出された人体領域Huの少なくとも一部が存在するか否かを判断する人体領域存在判断手段60とを備えている。
また、人体領域存在判断手段60が推測領域E中の輪郭周辺領域に抽出された人体領域Huの少なくとも一部の領域が存在すると判断したとき、推測領域決定手段40が、輪郭周辺領域に存在する人体領域Huの近傍かつ推測領域Eの外側に存在する近傍外側領域を含むように推測領域Eを拡張更新し、人体領域抽出手段50が、拡張更新された推測領域E中の人体領域Huを抽出するように構成されている。
顔検出手段10は、画像P中の顔部品の一つである両目Fを検出するものであって、たとえば、特開2006−139369号公報に記載されているように、顔または目等の検出対象が既知である複数のサンプル画像における各画素の特徴量、すなわち画像上の各画素における濃度が変化する方向および変化の大きさを予め学習することにより、検出対象であるか否かを識別する識別器を特徴量に対応させて取得し、対象画像上に該識別器を走査させることにより検出対象を検出する公知の技術を用いて顔画像を検出し、顔画像から両目の位置Fr、Flを検出する。
候補領域決定手段20は、顔検出手段10において検出された両目Fの位置情報から、人体領域が含まれるであろう複数の候補領域C1〜Ckを決定するものである。まず、図2に示すように、検出された両目Fr、Fl間の距離Leを求め、両目間の中心位置から垂直に下方へ1.5Le離れた位置を首の中心位置Nとする。次に、1.2Le〜1.8Leの範囲内で複数(k個)の値を任意に選択し、選択したそれぞれの値を首の幅として想定する。そして、その定めた各首の幅が拡大または縮小後の画像上において一定長さ(たとえば後述する単位領域Bijの水平方向の幅)となるように画像Pを拡大または縮小し、図3に示すように、拡大または縮小された解像度の異なる複数の画像Pn(n=1〜k)を生成する。その後、生成した複数の画像Pnの各々において、首の中心位置Nを基準とする所定の大きさの矩形の領域(N・w×M・h画素)を候補領域Cnとして決定する。決定された複数の候補領域Cnはそれぞれ絶対的な大きさは同一であるが、拡大または縮小後の画像に対する相対的な大きさは互いに異なる。
単位領域判断手段30は、たとえばジェントルアダブースト(Gentle AdaBoost)のアルゴリズムを用いて、候補領域決定手段20において決定された各候補領域Cnを構成するN×M個の矩形の単位領域Bij(i=1〜M、j=1〜N)のそれぞれが人体領域を含むか否かを判断する機能を有しており、図4に示すように、各単位領域Bijのそれぞれに対応させて設けられた、対応する単位領域が人体領域を含むか否かを判別するM×N個の単位領域判別器Fijを備えている。なお、各単位領域判別器Fijは複数の弱判別器f ij〜f ij(m:弱判別器の個数)を備え、各弱判別器f ij〜f ijは単位領域Bijからそれぞれ異なる特徴量xを抽出し、この特徴量xを用いて単位領域Bijが人体領域を含むか否かの判別を行う機能を有する。そして、各単位領域判別器Fijは弱判別器f ij〜f ijにおける判別結果を用いて単位領域Bijが人体領域を含むか否かの最終的な判断を行うようになっている。
具体的には、各弱判別器f ij〜f ijは、単位領域Bij内の各画素におけるH(Hue、色相)、S(Saturation、彩度)、L(Lightness、明度)の値からそれぞれの合計値Hij、Sij、Lijを求める。その後、その単位領域BijにおけるHij、Sij、Lijと候補領域Cn内の他の単位領域Buv(u=1〜M、v=1〜N、u≠i、v≠j)におけるHuv、Suv、Luvとの差分を求め、求められた全ての差分を構成要素とする差分リストDijを作成する。ここで、差分リストDijは、単位領域Bijと、該単位領域Bijを除く候補領域C内の(M×N―1)個の他の単位領域とのH、SおよびLの値の差分、すなわち、3×(M×N―1)個の差分を構成要素として有するようになる。そして、求められた差分リストDijの各差分または所定の複数の差分の組み合わせを単位領域Bijの特徴量xとする。なお、各弱判別器f ij〜f ijは差分リストDijからそれぞれ異なる1個以上の差分の組み合わせを特徴量xとして抽出し、この特徴量xを用いて単位領域Bijが人体領域Huを含むか否かの判別を行う。
なお、各弱判別器f ij〜f ijがそれぞれ特徴量xを抽出する場合について例示しているが、差分リストDijについて上述した特徴量xを予め抽出しておき、各弱判別器f ij〜f ijに入力するようにしてもよい。
さらに、単位領域判断手段30は単位領域Bijが人体領域を含むか否かを他の単位領域とのH、S、Lの値の差分を用いて判断する場合について例示しているが、特開2006−058959号公報に記載された画像判定方法やJohn R.Smith, Shih-FuChang, Tools and Techniques for Color Image Retrieval, IS&T/SPIE Proceedings Vol.2670, Storage and Retrieval for Image and Video Databasesに記載された画像の特徴解析方法等の公知の方法を用いて判断するようにしてもよい。
各弱判別器f ij〜f ijは図5に示すような特徴量−スコア特性を有しており、この特性に基づいて特徴量xの値に応じたスコアf ij(x)〜f ij(x)を出力する。そして、各弱判別器の判定スコアの総和が設定しきい値以上であるか否かを判断し、設定しきい値以上であるときに単位領域Bijが人体領域を含むと判別する。
次に、ジェントルアダブースト(Gentle AdaBoost)のアルゴリズムに従って複数の弱判別器f ij(n=1〜m)を逐次生成し、単位領域Bijが人体領域を含むか否かを判断する単位領域判別器Fijを構成する方法について説明する。
まず、人体領域が既知である複数の画像から学習サンプル(Xr,Yr)(r:サンプルの個数)を用意する。具体的には、各画像中の人体領域における首の幅が一定長さ(たとえば単位領域Bijの水平方向の幅)となるように全体画像を拡大または縮小し、その首の中心位置を基準とする所定の大きさ(N・w×M・h画素)の矩形の部分画像を抽出する。抽出された部分画像は所定の大きさ(w×h画素)のN×M個の矩形の単位領域Bij(i=1〜M、j=1〜N)に分割でき、各部分画像における単位領域Bijを学習サンプルのデータXrとし、各学習サンプルのデータXrが人体領域を含む領域であるか否かを示すラベルY(Y∈{−1,1})を決定する。Yr=−1は、学習サンプルが背景領域Bとしてラベリングされている場合を示し、Yr=1は、学習サンプルが人体領域Huとしてラベリングされていることを示す。
次に、全学習サンプルの重みW(r)を一様に設定し、下記式(1)に示す重み付き二乗誤差eを最小にする弱判別器f ijを生成する。ここで、学習サンプルの重みW(r)は、繰り返し回数t回目の学習サンプルXrの重みを示す。
Figure 0004905931
次いで、この弱判別器f ijを使用して、繰り返し処理t回目の各学習サンプルの重みW(r)を下記式(2)により更新する。
Figure 0004905931
そして、所定回数(=T回)の処理を繰り返し、生成された弱判別器全てを組み合わせた単位領域判別器Fijが学習データセットを所望の性能で判別できるようになるまで、弱判別器の生成を繰り返す。
単位領域判別器Fijは、全ての弱判別器の判別結果の総和の符号、すなわち下記式(3)に示す単位領域判別器Fijのスコアが正か負かを判断することで、単位領域が人体領域Huを含むか否かの判別することができる。
Figure 0004905931
なお、ここでは、単位領域判断手段30がジェントルアダブースティングアルゴリズムを用いて単位領域判別器Fijを取得する場合について例示しているが、それに代えてニューラルネットワーク等他の機械学習の手法を用いることもできる。
推測領域決定手段40は、図6に示すように各候補領域Cn毎に単位領域判断手段30において人体領域を含む領域であると判断された単位領域の集合を推測領域候補Enとして決定し、決定された各推測領域候補E1〜Ekの中から最適な推測領域候補を選定し、選定された推測領域候補を人体領域が含まれると推測される推測領域Eとして決定するものである。具体的には、各推測領域候補En毎に、その推測領域候補En内の全ての単位領域において求められた上記式(3)に示す単位領域判別器Fijのスコアを合計し、そのスコアの合計が最も高い推測領域候補を選定し、選定された推測領域候補を人体領域が含まれると推測される推測領域Eとして決定するようになっている。
なお、ここでは、単位領域判別器Fijのスコアはその単位領域が人体領域を含む領域である確からしさを示す指数として用いることが可能であり、その合計が最も高い推測領域は人体領域を最も確実に含むものであると解釈できるため、単位領域判別器Fijのスコアの合計が最も高い推測領域候補を推測領域Eとして決定するようにしているが、それに代えて人体領域を含む領域であると判断された単位領域の数がもっとも多い推測領域候補を推測領域Eとして決定することもできる。
人体領域抽出手段50は、推測領域決定手段40において決定された推測領域Eの画像データおよび推測領域Eの外側に位置する外部領域Bの画像データから推測領域E中の各画素の評価値を算出し、その評価値に基づいて人体領域Huを抽出するものである。なお、以下に説明する実施の形態では、この評価値として尤度を用いている。
まず、推測領域Eおよび推測領域Eの外側に位置する外部領域Bにおいて、各領域E、Bの画素の集合をOrchard, M.T., and Bouman, C.A. Color Quantization of Images. IEEE Transactions on Signal Processing, Vol. 39, No.12, pp. 2677-2690, 1991に記載された色クラスタリング法を用いてそれぞれ8つの集合に分割する。
上記の色クラスタリング法は、分割するクラスタ(画素の集合)Yの色(色ベクトル)の変動が最大となる方向を求め、その方向に垂直かつクラスタYの色の平均値(平均ベクトル)を通る面を切断面とし、その切断面でクラスタYを2つのクラスタY2n、Y2n+1に分割するものであり、この方法によれば、全体のさまざまな色空間を有する画素の集合を同一または類似する色空間を有する複数の部分集合に分割することができる。
次に、上記の方法により得られた各領域E、Bにおける8つの画素の集合の各々に対してR(Red、赤)、G(Green、緑)、B(Blue、青)のガウス分布の平均ベクトルurgb、ガウス分布の分散共分散行列Σ等を算出し、以下の式(4)から、各領域E,BにおけるRGB色空間のGMMモデル(Gaussian Mixture Model)Gを求める。ここで、人体領域を多く含む領域と推測される推測領域Eから求められるGMMモデルGを人体領域モデルGとし、背景領域を多く含む推測領域Eの外側に位置する外部領域Bから得られたGMMモデルGを背景領域モデルGとする。
Figure 0004905931
ここで、iはガウス分布の混合数(画素の集合の数)、λは分布の混合重み、uはR、G、Bのガウス分布の平均ベクトル、Σはガウス分布の分散共分散行列、dは特徴ベクトルの次元数である。
図7(a)は人体領域モデルGにおけるR、Gを示すグラフであり、図7(b)は背景領域モデルGにおけるR、Gを示すグラフである。各々のグラフは8つの楕円状のガウシアン分布から形成されており、人体領域モデルGおよび背景領域モデルGが互いに異なる確率密度を有することが分かる。
そして、以上の人体領域モデルGと背景領域モデルGに基づいて、Yuri Y. Boykov, Marie-Pierre Jolly, “Interactive Graph Cuts for Optimal Boundary and Region Segmentation of Objects in N-D images”, Proc. IEEE Int. Conf. on Computer Vision, 2001およびCarsten Rother, Vladimir Kolmogorov, Andrew Blake, “GrabCut-Interactive Foreground Extraction using Iterated Graph Cuts”, ACM Transactions on Graphics(SIGGRAPH’04) 2004に記載された領域分割方法を用いて、推測領域Eを人体領域Huと背景領域Bとに分割する。
上記の領域分割方法では、まず、図8(a)に示すように、画像中の各画素を表すノードと、各画素が取り得るラベル(本実施の形態では、人体領域Huまたは背景領域B)を表すノードS、Tと、隣接する画素のノード同士をつなぐn−linkと、各画素を表すノードと人体領域を表すノードSまたは背景領域を表すノードTとをつなぐt−linkとから構成されるグラフを作成する。ここで、n−linkは、隣接する画素が同一領域の画素である確からしさ、すなわち尤度(コスト)をリンクの太さで表すものであり、その尤度(コスト)はそれらの隣接する画素間の距離および色ベクトルの差に基づいて求めることができる。また、t−linkは、各画素が人体領域に含まれる画素である尤度(コスト)および背景領域に含まれる画素である尤度(コスト)を表すものであり、その尤度(コスト)は各画素の色ベクトルが人体領域モデルGまたは背景領域モデルGの確率密度関数に対応する確率を算出することにより、求めることができる。
そして、人体領域および背景領域は互いに排他的な領域であり、図8(b)に示すように、各画素を表すノードと人体領域を表すノードSまたは背景領域を表すノードTとをつなぐ2つのt−linkのうち片方を切断するとともに、異なるラベルを有する隣接する画素のノード同士をつなぐn−linkを切断することにより、推測領域Eを人体領域Huと背景領域Bとに分割する。ここで、切断する全てのt−linkおよびn−linkのコストの合計が最小になるようにすることにより、最適な領域分割をすることが可能であり、人体領域Huを効率よく抽出することができる。
さらに、人体領域抽出手段50は、推測領域E中の各画素において、各画素のR、G、B(0〜255)の値が以下の式(5)に示す条件式を満たすとき、肌色領域を示す画素であると判断し、肌色領域であると判断された各画素を表すノードと人体領域を表すノードSとをつなぐt−linkの値を高くなるように更新する処理を行なう。その処理により、肌色領域に含まれる画素が人体領域を表す画素である尤度(コスト)を高めることができるため、人体領域の抽出に人体固有の肌色情報を利用することにより、人体領域の抽出性能をより向上させることが可能である。
Figure 0004905931
人体領域存在判断手段60は、推測領域E中の輪郭周辺領域に、人体領域抽出手段50において抽出された人体領域Huの少なくとも一部が存在するか否かを判断するものであり、図9に示すように、推測領域E中の該推測領域Eの輪郭Lから一定範囲内の領域である輪郭周辺領域Qと、抽出された人体領域Huとが重なる領域Qが存在するか否かを調べることにより、輪郭周辺領域Qに人体領域Huの少なくとも一部が存在するか否かを判断する。
上述した人体領域存在判断手段60においては、輪郭周辺領域Qに人体領域Huが存在しないと判断された場合、これにより人体領域抽出を終了するようになっている。しかし、輪郭周辺領域Qに人体領域Huの少なくとも一部が存在すると判断された場合、推測領域決定手段40は、輪郭周辺領域Qと人体領域Huとが重なる領域Qから一定範囲内の領域のうち推測領域Eの外側に存在する領域を近傍外側領域Rとし、近傍外側領域Rを含むように推測領域Eを拡張更新するようになっている。その後、人体領域抽出手段50により、拡張更新された推測領域E中の人体領域Huが再度抽出され、人体領域存在判断手段60により、拡張更新された推測領域Eにおける輪郭周辺領域Qに抽出された人体領域Huの少なくとも一部が存在するか否かを再度判断するようになっている。
以上の推測領域決定手段40による推測領域Eの拡張更新処理、人体領域抽出手段50による拡張更新された推測領域E中の人体領域Huの抽出処理および人体領域存在判断手段60による輪郭周辺領域Qに人体領域Huの少なくとも一部が存在するか否かを判断する処理は、人体領域存在判断手段60が輪郭周辺領域Qに人体領域Huが存在しないと判断するまで繰り返し行われる。
図10は推測領域Eを拡張更新しながら、人体領域Huを繰り返して抽出する処理の一例を示した図であり、図10(a)は、1回目の推測領域Eおよびその推測領域Eから抽出された人体領域Huを示す図であり、図10(b)は、図10(a)における一回目の人体領域抽出結果に基づいて拡張更新された2回目の推測領域Eおよびその拡張更新された推測領域Eから抽出された人体領域Huを示す図であり、図10(c)は、最終推測領域Eおよびその推測領域Eから抽出された人体領域Huを示す図である。
以下、図11の本発明の人体領域抽出方法の一実施の形態を示すフローチャートを参照して、人体領域抽出方法について説明する。まず、顔検出手段10において、全体画像Pの中から顔部品の一つである両目Fが検出される(ステップST1)。その後、候補領域決定手段20により、検出された両目Fの位置情報から人体領域が含まれるであろう複数の候補領域Cn(n=1〜K)が決定される(ステップST2)。そして、単位領域判断手段30により、決定された複数の候補領域Cnの各々に対して該候補領域を構成する各単位領域が人体領域を含むか否かが判断される。(ステップST3)。次に、推測領域決定手段40により、各候補領域Cn毎に人体領域を含むと判断された単位領域の集合が推測領域候補Enとして決定され、決定された各推測領域候補Enの中から最適な推測領域候補が選定され、選定された推測領域候補が推測領域Eとして決定される(ステップST4)。そして、人体領域抽出手段50により、決定された推測領域E中の人体領域Huが抽出される(ステップST5)。そして、人体領域存在判断手段60により、推測領域中の輪郭周辺領域に抽出された人体領域Huの少なくとも一部が存在するか否かが判断される(ステップST6)。そして、人体領域Huの少なくとも一部が存在すると判断されたとき、輪郭周辺領域に存在する人体領域Huの近傍かつ推測領域Eの外側に存在する近傍外側領域を含むように推測領域Eが拡張更新される(ステップST7)。続いて、ステップS5へ戻り、更新された推測領域E中の人体領域が抽出される。以上のステップST5からST7を繰り返して、輪郭周辺領域に抽出された人体領域Huが存在しないと判断されたところで、人体領域抽出を終了する。
上記実施の形態によれば、画像P中の顔部品の一つである両目Fを検出し、検出された両目Fの位置情報から人体領域が含まれるであろう候補領域Cを決定し、決定された候補領域に対して該候補領域Cを構成する各単位領域が人体領域を含むか否かを判断し、人体領域を含むと判断された単位領域の集合を推測領域Eとして決定し、決定された推測領域E中の人体領域Huを抽出することにより、一般的な画像中の人体領域を精度よく自動抽出することができる。
また、推測領域E中の輪郭周辺領域に抽出された人体領域Huの少なくとも一部が存在するか否かを判断し、輪郭周辺領域に抽出された人体領域Huが存在しないと判断されるまで、輪郭周辺領域に存在する人体領域Huの近傍かつ推測領域Eの外側に存在する近傍外側領域を含むように推測領域Eを拡張更新し、拡張更新された推測領域E中の人体領域Huを抽出することを繰り返し行うことにより、人体領域が推測領域Eに収まらなかった場合であっても、人体領域抽出結果に基づいて拡張更新した推測領域Eに人体領域を収めることが可能となり、全体の人体領域を確実に抽出することができる。
また、上記実施の形態では、検出された両目Fの位置情報から人体領域が含まれるであろう複数の候補領域Cnを決定し、決定された複数の候補領域Cnの各々に対して該候補領域を構成する各単位領域が人体領域を含むか否かを判断し、各候補領域Cn毎に人体領域を含むと判断された単位領域の集合を推測領域候補Enとして決定し、決定された各推測領域候補Enの中から最適な推測領域候補を選定し、選定された推測領域候補が推測領域Eとして決定されるようにしており、さまざまな大きさや姿勢を有する人体領域に対して適切な推測領域を決定することができ、人体領域の抽出処理の精度を向上させることができる。
本発明は上記実施の形態に限定されない。たとえば、上記実施の形態では、候補領域決定手段20が、顔検出手段10において検出された両目Fの位置情報から人体領域が含まれるであろう候補領域Cを決定するようにしているが、顔検出手段10は、両目の他、鼻、口等の他の顔部品または顔の位置を検出するものであってもよい。そして、候補領域決定手段20は、顔検出手段10において検出された顔または顔部品の位置情報のみから推測領域Eを決定してもよいし、位置情報とさらに他の情報、たとえば顔の場合位置情報と大きさ情報から候補領域Cを決定するようにしてもよい。
たとえば、顔検出手段10において検出された顔の位置のみから候補領域Cを決定する場合、顔の中心位置を基準位置とする、予め設定しておいた形状および大きさの1個以上の領域を候補領域Cとして決定することができる。また、顔検出手段10において検出された顔の位置情報および大きさ情報から候補領域Cを決定する場合、顔の中心位置を基準位置とする、顔の大きさに比例する大きさの候補領域Cを決定することができる。
なお、候補領域Cは、人体領域を充分含む領域であればよく、矩形、円形、楕円形等、種々の形状および任意の大きさの領域とすることができる。
また、上記実施の形態では、候補領域決定手段20において、人体領域が含まれるであろう複数の候補領域C(Cn、n=1〜K)を決定し、この複数の候補領域Cnの各々について該候補領域を構成する多数の単位領域が人体領域を含むか否かを判断し、推測領域決定手段40において各候補領域毎に人体領域を含むと判断された単位領域の集合を推測領域候補として決定し、この各推測領域候補の中から最適な推測領域候補を推測領域として決定するようにしているが、単一の候補領域Cを決定し、この候補領域Cを構成する多数の単位領域が人体領域を含むか否かを判断し、人体領域を含むと判断された単位領域の集合を推測領域Eとして決定するようにしてもよい。
また、人体領域抽出手段50において、推測領域Eの画像データおよび推測領域Eの外側に位置する外部領域Bの画像データから推測領域E中の各画素の評価値を算出し、その評価値に基づいて人体領域Huを抽出する際、推測領域Eの画像データおよび推測領域Eの外側に位置する外部領域Bの画像データは、それぞれの領域内の全ての画像データであってもよいし、領域内の一部の画像データであってもよい。
また、人体領域抽出手段50において、上記の式(5)に示す条件式を用いて推測領域E中の各画素が肌色領域を示す画素であるか否かを判断するようにしているが、画像P中の人体固有の肌色情報に基づいて肌色領域を示す画素か否かを判断するようにしてもよい。たとえば、上記の式(5)の条件式を満たすと判断された画像P等の所定の領域中の各画素の集合から、上記の式(4)に示すGMMモデルGを画像P中の人体固有の肌色情報を含む確率密度関数として作成し、作成したGMMモデルに基づいて推測領域E中の各画素が肌色領域を示す画素であるか否かを再度判断することができる。
また、上記実施の形態では、人体領域存在判断手段60において、輪郭周辺領域Qと抽出された人体領域Huとが重なる領域Qが存在するか否かを判断し、存在すると判断された場合、推測領域決定手段40が、領域Qから一定範囲内の領域のうち推測領域Eの外部に相当する近傍外側領域Rが含まれるように推測領域Eを拡張更新するようになっているが、以下に説明する方法または他の方法により、推測領域中の輪郭周辺領域に人体領域の少なくとも一部が存在するか否かを判断し、推測領域Eを拡張更新するようにしてもよい。
具体的には、図12に示すように、推測領域Eの輪郭L上の所定の点を始点Lsとし、輪郭L上の各画素を始点Ls から時計方向または反時方向に順次注目画素Lpとし、各画素Lpにおいて、その画素Lpから一定範囲内の領域のうち推測領域Eの内側に相当する領域Qpに、人体領域Huが存在するか否かを調べることにより、輪郭周辺領域に人体領域Huの少なくとも一部が存在するか否かを判断する。そして、存在すると判断された場合、その画素Lpの位置を以下に説明する方法により更新する。図13(a)に示すように、まず、位置を更新すると決定された画素Lpを輪郭L上で挟むように隣接する画素Lpm−1、Lpm+1を通る直線Saと、その直線から画素Lpを通る外法線Sbを求め、直線Saおよび外法線Sbの交点をOとする。そして、画素Lpの位置を点Oから一定距離λ(λは輪郭線を一回成長させるための増量)にある外法線Sb上の点Lp′に更新する。その後、図13(b)に示すように、推測領域Eの輪郭Lを更新された点Lp′を通るように更新し、更新された輪郭Lで囲まれる領域を推測領域Eとして更新することにより、推測領域Eを拡張更新する。
また、人体領域存在判断手段60において、推測領域E中の輪郭周辺領域に人体領域Huの少なくとも一部が存在すると判断したとき、推測領域Eの拡張更新処理および拡張更新された推測領域E中の人体領域の抽出処理等を行うようにしているが、推測領域E中の輪郭周辺領域に人体領域Huが存在する箇所が所定数以上であると判断したとき、推測領域Eの拡張更新処理および拡張更新された推測領域E中の人体領域の抽出処理を行うようにしてもよい。
また、上記実施の形態において、輪郭周辺領域に人体領域Huが存在しないと判断されるまで、推測領域Eの拡張更新処理および拡張更新された推測領域E中の人体領域の抽出処理を繰り返し行うようにしているが、推測領域Eの拡張更新処理および拡張更新された推測領域E中の人体領域の抽出処理を行なう最大回数を予め設定し、設定された1回以上の所定回数以内で人体領域抽出処理を終了するようにしてもよい。
本発明の人体領域抽出装置の一実施の形態を示すブロック図 図1の候補領域決定手段により候補領域Cを決定する一方法を説明するための図 図1の候補領域決定手段により決定された複数の候補領域Cnを示す図 図1の人体領域抽出装置における単位領域判断手段の一例を示すブロック図 図4の弱判別器が有する特徴量−スコア特性の一例を示すグラフ 図1の推測領域決定手段により推測領域Eを決定する一方法を説明するための図 (a)は人体領域モデルGにおけるR、Gを示すグラフ、(b)は背景領域モデルGにおけるR、Gを示すグラフ 推測領域Eを人体領域と背景領域とに分割する一方法を説明するための図 図1の判断手段および推測領域決定手段による判断処理と推測領域拡張更新処理の一方法を説明するための図 (a)は1回目の推測領域Eおよび抽出された人体領域Huを示す図、(b)は2回目の推測領域Eおよび人体領域Huを示す図、(c)は最終推測領域Eおよび人体領域Huを示す図 本発明の人体領域抽出方法の一実施の形態を示すフローチャート 判断手段および推測領域決定手段による判断処理と推測領域拡張更新処理の一方法を説明するための図 推測領域決定手段により推測領域を拡張更新する一方法を示す図
符号の説明
10 顔検出手段
20 推測領域決定手段
30 単位領域判断手段
40 推測領域決定手段
50 人体領域抽出手段
60 人体領域存在判断手段
P 画像
F 両目(顔または顔部品)
C 候補領域
E 推測領域
Hu 人体領域
B 背景領域
ij 単位領域
ij 単位領域判別器
L 推測領域の輪郭
Q 輪郭周辺領域
近傍外側領域

Claims (10)

  1. 人体領域抽出装置により、画像中の人体全体の領域である人体領域を抽出する方法であって、
    画像中の顔または顔部品を検出し、
    検出された顔または顔部品の位置情報から前記人体領域が含まれるであろう候補領域を決定し、
    決定された候補領域を構成する2画素以上の同じ大きさの各単位領域が前記人体領域の一部を含むか否かを判断し、
    前記人体領域の一部を含むと判断された単位領域の集合を前記人体領域が含まれると推測される推測領域として決定し、
    決定された推測領域中の前記人体領域を抽出する
    ことを特徴とする人体領域抽出方法。
  2. 前記推測領域中の領域であって該推測領域の輪郭の周辺領域である輪郭周辺領域に前記抽出された前記人体領域の一部が存在するか否かを判断し、
    前記輪郭周辺領域に前記人体領域の一部が存在しないと判断されるまで、前記輪郭周辺領域に存在する前記人体領域の一部の近傍かつ前記推測領域の外側に存在する近傍外側領域を含むように前記推測領域を拡張更新し、拡張更新された推測領域中の前記人体領域を抽出し、前記拡張更新された後の推測領域における前記輪郭周辺領域に前記抽出された前記人体領域の一部が存在するか否かを判断することを繰り返し行うことを特徴とする請求項1記載の人体領域抽出方法。
  3. 画像中の人体全体の領域である人体領域を抽出する装置であって、
    前記画像中の顔または顔部品を検出する顔検出手段と、
    検出された顔または顔部品の位置情報から前記人体領域が含まれるであろう候補領域を決定する候補領域決定手段と、
    決定された候補領域を構成する2画素以上の同じ大きさの各単位領域が前記人体領域の一部を含むか否かを判断する単位領域判断手段と、
    前記人体領域の一部を含むと判断された単位領域の集合を前記人体領域が含まれると推測される推測領域として決定する推測領域決定手段と、
    決定された推測領域中の前記人体領域を抽出する人体領域抽出手段と
    を備えたことを特徴とする人体領域抽出装置。
  4. 前記推測領域中の領域であって該推測領域の輪郭の周辺領域である輪郭周辺領域に前記抽出された前記人体領域の一部が存在するか否かを判断する人体領域存在判断手段をさらに備え、
    前記人体領域存在判断手段が、前記人体領域存在判断手段が前記輪郭周辺領域に前記人体領域の一部が存在しないと判断するまで、前記推測領域決定手段が前記輪郭周辺領域に存在する前記人体領域の一部の近傍かつ前記推測領域の外側に存在する近傍外側領域を含むように前記推測領域を拡張更新し、前記人体領域抽出手段が前記拡張更新された推測領域中の前記人体領域を抽出し、前記人体領域存在判断手段が前記拡張更新された後の推測領域における前記輪郭周辺領域に前記抽出された前記人体領域の一部が存在するか否かを判断することを繰り返し行うものである
    ことを特徴とする請求項3記載の人体領域抽出装置。
  5. 前記単位領域判断手段が、前記単位領域のそれぞれに対応させて設けられた、対応する単位領域が前記人体領域の一部を含むか否かを判別する複数の判別器を備えていることを特徴とする請求項3または請求項4記載の人体領域抽出装置。
  6. 前記候補領域決定手段が、複数の候補領域を決定するものであり、
    前記単位領域判断手段が、前記決定された複数の候補領域の各々について該候補領域を構成する2画素以上の同じ大きさの各単位領域が前記人体領域の一部を含むか否かを判断するものであり、
    前記推測領域決定手段が、前記各候補領域毎に前記人体領域の一部を含むと判断された単位領域の集合を推測領域候補として決定し、決定された各推測領域候補の中から最適な推測領域候補を選定し、該選定された推測領域候補を前記推測領域として決定する
    ものであることを特徴とする請求項3から5のいずれか1項記載の人体領域抽出装置。
  7. 前記人体領域抽出手段が、前記推測領域の画像データおよび該推測領域の外側に位置する領域の全体である外部領域又はその一部の画像データから前記推測領域中の各画素の評価値を算出し、その評価値に基づいて前記人体領域を抽出するものであることを特徴とする請求項3から6のいずれか1項記載の人体領域抽出装置。
  8. 前記人体領域抽出手段が、前記画像中の肌色情報をさらに用いて、前記人体領域を抽出するものであることを特徴とする請求項7記載の人体領域抽出装置。
  9. 画像中の人体全体の領域である人体領域を抽出するプログラムであって、
    コンピュータに、
    画像中の顔または顔部品を検出し、検出された顔または顔部品の位置情報から前記人体領域が含まれるであろう候補領域を決定し、決定された候補領域を構成する2画素以上の同じ大きさの各単位領域が前記人体領域の一部を含むか否かを判断し、前記人体領域の一部を含むと判断された単位領域の集合を前記人体領域が含まれると推測される推測領域として決定し、決定された推測領域中の前記人体領域を抽出する
    ことを実行させるためのプログラム。
  10. 前記推測領域中の領域であって該推測領域の輪郭の周辺領域である輪郭周辺領域に前記抽出された前記人体領域の一部が存在するか否かを判断し、前記輪郭周辺領域に前記人体領域の一部が存在しないと判断されるまで、前記輪郭周辺領域に存在する前記人体領域の一部の近傍かつ前記推測領域の外側に存在する近傍外側領域を含むように前記推測領域を拡張更新し、拡張更新された推測領域中の前記人体領域を抽出し、前記拡張更新された後の推測領域における前記輪郭周辺領域に前記抽出された前記人体領域の一部が存在するか否かを判断することを繰り返し行う
    ことをコンピュータに実行させるための請求項9記載の人体領域抽出プログラム。
JP2006184019A 2006-07-04 2006-07-04 人体領域抽出方法および装置並びにプログラム Active JP4905931B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2006184019A JP4905931B2 (ja) 2006-07-04 2006-07-04 人体領域抽出方法および装置並びにプログラム
US11/822,087 US8023701B2 (en) 2006-07-04 2007-07-02 Method, apparatus, and program for human figure region extraction

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006184019A JP4905931B2 (ja) 2006-07-04 2006-07-04 人体領域抽出方法および装置並びにプログラム

Publications (2)

Publication Number Publication Date
JP2008015641A JP2008015641A (ja) 2008-01-24
JP4905931B2 true JP4905931B2 (ja) 2012-03-28

Family

ID=38919167

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006184019A Active JP4905931B2 (ja) 2006-07-04 2006-07-04 人体領域抽出方法および装置並びにプログラム

Country Status (2)

Country Link
US (1) US8023701B2 (ja)
JP (1) JP4905931B2 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7844085B2 (en) * 2007-06-07 2010-11-30 Seiko Epson Corporation Pairwise feature learning with boosting for use in face detection
KR100967379B1 (ko) * 2009-11-04 2010-07-05 (주)올라웍스 그래프 컷의 초기값을 설정하는 방법, 단말 장치, 및 컴퓨터 판독 가능한 기록 매체
US20120230583A1 (en) * 2009-11-20 2012-09-13 Nec Corporation Object region extraction device, object region extraction method, and computer-readable medium
US8401250B2 (en) * 2010-02-19 2013-03-19 MindTree Limited Detecting objects of interest in still images
JP5772446B2 (ja) * 2010-09-29 2015-09-02 株式会社ニコン 画像処理装置及び画像処理プログラム
KR101715854B1 (ko) * 2010-11-26 2017-03-13 엘지디스플레이 주식회사 감성 화질 향상을 위한 색온도 변환 방법 및 유닛과, 그를 이용한 디지털 표시 장치
US8565482B2 (en) 2011-02-28 2013-10-22 Seiko Epson Corporation Local difference pattern based local background modeling for object detection
JP5771442B2 (ja) * 2011-05-09 2015-08-26 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
JP5726646B2 (ja) * 2011-06-10 2015-06-03 株式会社東芝 画像処理装置、方法、及びプログラム
JP5862143B2 (ja) 2011-09-15 2016-02-16 オムロン株式会社 ジェスチャ認識装置、電子機器、ジェスチャ認識装置の制御方法、制御プログラムおよび記録媒体
JP2013065112A (ja) 2011-09-15 2013-04-11 Omron Corp ジェスチャ認識装置、電子機器、ジェスチャ認識装置の制御方法、制御プログラムおよび記録媒体
WO2014177756A1 (en) * 2013-05-03 2014-11-06 Nokia Corporation Method, apparatus and computer program product for segmentation of objects in images
CN103489107B (zh) * 2013-08-16 2015-11-25 北京京东尚科信息技术有限公司 一种制作虚拟试衣模特图像的方法和装置
JP6613876B2 (ja) * 2015-12-24 2019-12-04 トヨタ自動車株式会社 姿勢推定装置、姿勢推定方法、およびプログラム
CN111127485B (zh) * 2019-12-25 2023-07-14 东软集团股份有限公司 一种ct图像中目标区域提取方法、装置及设备

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08106534A (ja) * 1994-10-06 1996-04-23 Hitachi Ltd 移動物体検出装置
JPH08161499A (ja) * 1994-12-05 1996-06-21 Minolta Co Ltd 物体認識装置
JP3490559B2 (ja) * 1995-11-14 2004-01-26 富士写真フイルム株式会社 画像の主要部判定方法及び複写条件決定方法
US6028960A (en) * 1996-09-20 2000-02-22 Lucent Technologies Inc. Face feature analysis for automatic lipreading and character animation
US6118888A (en) * 1997-02-28 2000-09-12 Kabushiki Kaisha Toshiba Multi-modal interface apparatus and method
US6529630B1 (en) * 1998-03-02 2003-03-04 Fuji Photo Film Co., Ltd. Method and device for extracting principal image subjects
JP3576025B2 (ja) * 1998-03-02 2004-10-13 富士写真フイルム株式会社 主要被写体抽出方法および装置
KR100343223B1 (ko) * 1999-12-07 2002-07-10 윤종용 화자 위치 검출 장치 및 그 방법
JP2002175538A (ja) * 2000-12-08 2002-06-21 Mitsubishi Electric Corp 似顔絵生成装置及び似顔絵生成方法及び似顔絵生成プログラムを記録した記録媒体及び通信用端末及び通信用端末による通信方法
WO2002056251A1 (fr) * 2000-12-27 2002-07-18 Mitsubishi Denki Kabushiki Kaisha Dispositif de traitement d'images et ascenseur sur lequel il est monte
EP1293933A1 (de) 2001-09-03 2003-03-19 Agfa-Gevaert AG Verfahren zum automatischen Erkennen von rote-Augen-Defekten in fotografischen Bilddaten
JP3894782B2 (ja) * 2001-12-10 2007-03-22 株式会社国際電気通信基礎技術研究所 物体認識装置
JP4161659B2 (ja) * 2002-02-27 2008-10-08 日本電気株式会社 画像認識システム及びその認識方法並びにプログラム
JP2004220555A (ja) * 2002-12-27 2004-08-05 Fuji Photo Film Co Ltd 画像から被写体領域を抽出する装置、方法、プログラムおよびプログラムを記録した記録媒体
JP2005339363A (ja) 2004-05-28 2005-12-08 Canon Inc 人体パーツ自動分割装置及び人体パーツ自動分割方法

Also Published As

Publication number Publication date
JP2008015641A (ja) 2008-01-24
US20080008362A1 (en) 2008-01-10
US8023701B2 (en) 2011-09-20

Similar Documents

Publication Publication Date Title
JP4905931B2 (ja) 人体領域抽出方法および装置並びにプログラム
JP4699298B2 (ja) 人体領域抽出方法および装置並びにプログラム
EP3620956B1 (en) Learning method, learning device for detecting lane through classification of lane candidate pixels and testing method, testing device using the same
Chaudhuri et al. Automatic building detection from high-resolution satellite images based on morphology and internal gray variance
US9898686B2 (en) Object re-identification using self-dissimilarity
Gould et al. Multi-class segmentation with relative location prior
JP5202148B2 (ja) 画像処理装置、画像処理方法、及びコンピュータプログラム
KR102357326B1 (ko) 얼굴 특징 추출 방법 및 장치, 얼굴 인식 방법 및 장치
CN110088805B (zh) 用于检测和分割多个前景对象的方法
US12002259B2 (en) Image processing apparatus, training apparatus, image processing method, training method, and storage medium
JP2020038658A (ja) エッジイメージを利用して物体を検出する学習方法及び学習装置、並びにそれを利用したテスト方法及びテスト装置
CN110348319A (zh) 一种基于人脸深度信息和边缘图像融合的人脸防伪方法
CN110909618B (zh) 一种宠物身份的识别方法及装置
CN106815323B (zh) 一种基于显著性检测的跨域视觉检索方法
JP2008097607A (ja) 入力イメージを自動的に分類する方法
CN113361495A (zh) 人脸图像相似度的计算方法、装置、设备及存储介质
CN111860309A (zh) 一种人脸识别方法及系统
Cho et al. Scene text extraction by superpixel CRFs combining multiple character features
CN111177447B (zh) 一种基于深度网络模型的行人图像识别方法
CN111815582A (zh) 改进背景先验和前景先验的二维码区域检测方法
Chen et al. Image segmentation based on mathematical morphological operator
Rotem et al. Combining region and edge cues for image segmentation in a probabilistic gaussian mixture framework
JP2017084006A (ja) 画像処理装置およびその方法
Curran et al. The use of neural networks in real-time face detection
CN114724190A (zh) 一种基于宠物姿态的心情识别方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090217

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110315

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110511

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110809

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111005

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111227

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120105

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150120

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4905931

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250