JP5801237B2 - 部位推定装置、部位推定方法、および部位推定プログラム - Google Patents

部位推定装置、部位推定方法、および部位推定プログラム Download PDF

Info

Publication number
JP5801237B2
JP5801237B2 JP2012076072A JP2012076072A JP5801237B2 JP 5801237 B2 JP5801237 B2 JP 5801237B2 JP 2012076072 A JP2012076072 A JP 2012076072A JP 2012076072 A JP2012076072 A JP 2012076072A JP 5801237 B2 JP5801237 B2 JP 5801237B2
Authority
JP
Japan
Prior art keywords
likelihood
likelihood map
region
continuity
edge pair
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012076072A
Other languages
English (en)
Other versions
JP2013206259A (ja
Inventor
川口 京子
京子 川口
雅基 田靡
雅基 田靡
雄二 里
雄二 里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2012076072A priority Critical patent/JP5801237B2/ja
Priority to CN201380013587.3A priority patent/CN104169968B/zh
Priority to US14/388,254 priority patent/US9639950B2/en
Priority to PCT/JP2013/001777 priority patent/WO2013145615A1/ja
Publication of JP2013206259A publication Critical patent/JP2013206259A/ja
Application granted granted Critical
Publication of JP5801237B2 publication Critical patent/JP5801237B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/181Segmentation; Edge detection involving edge growing; involving edge linking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/143Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/457Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by analysing connectivity, e.g. edge linking, connected component analysis or slices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20076Probabilistic image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Probability & Statistics with Applications (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Description

本発明は、人、動物またはロボットなどの多関節物体の部位を推定する、部位推定装置、部位推定方法、および部位推定プログラムに関する。
近年、撮影された動画像に基づく人の姿勢推定に関する研究が、盛んに行われている。姿勢推定装置は、動画像から人の行動をコンピュータ解析により判定することができ、人手に頼らずに行動解析を行うことができる。行動解析としては、例えば、街頭での異常行動検知、店舗での購買行動分析、工場における作業効率化支援、およびスポーツにおけるフォーム指導がある。
そこで、単眼カメラにより人を撮影した画像に基づいて、当該人の姿勢を推定する技術が、例えば特許文献1に記載されている。
特許文献1に記載の技術(以下、「従来技術」という)は、まず、人を撮影した画像に含まれる楕円形状または平行線に基づいて、部位候補を抽出する。次に、従来技術は、複数のサンプル画像から統計的に求めた尤度関数を用いて、部位尤度および部位関係尤度を算出する。そして、従来技術は、算出した尤度に基づいて、最適な部位候補の組み合わせを算出する。よって、従来技術によれば、どの部位がどの領域に位置するかを特定することができ、人の位置や向きによらずに人の姿勢を推定することができる。
特開2005−165923号公報
しかしながら、従来技術は、撮影条件によっては、部位を高精度に推定することができないという課題を有する。なぜなら、従来技術は、撮影した画像から部位の輪郭が平行線で抽出できることを前提にしているが、実際には、部位の服のしわや陰影および部位の背景にある物体の形状や陰影により、部位の輪郭のみを平行線として抽出することは困難だからである。
本発明の目的は、多関節物体の部位を高精度に推定することである。
本発明の一態様に係る部位推定装置は、画像中の画素ごとに、当該画素の近傍に存在するペアの画素が、推定対象である部位のエッジであることの尤もらしさを示すエッジペア尤度を算出し、当該エッジペア尤度を前記画素ごとに示すエッジペア尤度マップを生成するエッジペア尤度マップ生成部と、前記エッジペア尤度マップに対し、前記推定対象である部位を想定した領域内に含まれる画素のエッジペア尤度について連続性を評価し、連続性のあるエッジペア尤度を、前記推定対象である部位を示す候補領域として示す連続性尤度マップを生成する連続性尤度マップ生成部と、前記連続性尤度マップが示す前記候補領域を、予め定められた条件を基に絞り込んで示す統合尤度マップを生成する統合尤度マップ生成部と、を有する。
本発明の一態様に係る部位推定方法は、画像中の画素ごとに、当該画素の近傍に存在するペアの画素が、推定対象である部位のエッジであることの尤もらしさを示すエッジペア尤度を算出し、当該エッジペア尤度を前記画素ごとに示すエッジペア尤度マップを生成するステップと、前記エッジペア尤度マップに対し、前記推定対象である部位を想定した領域内に含まれる画素のエッジペア尤度について連続性を評価し、連続性のあるエッジペア尤度を、前記推定対象である部位を示す候補領域として示す連続性尤度マップを生成するステップと、前記連続性尤度マップが示す前記候補領域を、予め定められた条件を基に絞り込んで示す統合尤度マップを生成するステップと、を有する。
本発明の一態様に係る部位推定プログラムは、画像を入力あるいは生成する装置のコンピュータに、前記画像中の画素ごとに、当該画素の近傍に存在するペアの画素が、推定対象である部位のエッジであることの尤もらしさを示すエッジペア尤度を算出し、当該エッジペア尤度を前記画素ごとに示すエッジペア尤度マップを生成する処理と、前記エッジペア尤度マップに対し、前記推定対象である部位を想定した領域内に含まれる画素のエッジペア尤度について連続性を評価し、連続性のあるエッジペア尤度を、前記推定対象である部位を示す候補領域として示す連続性尤度マップを生成する処理と、前記連続性尤度マップが示す前記候補領域を、予め定められた条件を基に絞り込んで示す統合尤度マップを生成する処理と、を実行させる。
本発明によれば、多関節物体の部位を高精度に推定することができる。
本発明の実施の形態1に係る部位推定装置の構成の一例を示すブロック図 本発明の実施の形態2に係る部位推定システムの構成の一例を示すシステム構成図 本発明の実施の形態2における身体モデルの一例を示す図 本発明の実施の形態2に係る部位推定装置の構成の一例を示すブロック図 本発明の実施の形態2に係る部位推定装置の動作の一例を示すフローチャート 本発明の実施の形態2に係るエッジペア尤度マップ生成処理の動作の一例を示すフローチャート 本発明の実施の形態2におけるエッジペア尤度マップ生成処理を説明するための図 本発明の実施の形態2におけるエッジペア尤度マップの一例を示す図 本発明の実施の形態2における連続性尤度マップの一例を示す図 本発明の実施の形態2における統合尤度マップ生成処理の動作の一例を示すフローチャート 本発明の実施の形態3における部位推定装置の構成の一例を示すブロック図 本発明の実施の形態3における部位推定装置の動作の一例を示すフローチャート 本発明の実施の形態3における連続性尤度マップの一例を示す図 本発明の実施の形態4における部位推定装置の構成の一例を示すブロック図 本発明の実施の形態4における部位推定装置の構成の一例を示すブロック図
以下、本発明の各実施の形態について、図面を参照して詳細に説明する。
(実施の形態1)
本発明の実施の形態1は、本発明の基本的態様の一例である。
図1は、本実施の形態に係る部位推定装置の構成の一例を示すブロック図である。
図1において、部位推定装置100は、エッジペア尤度マップ生成部120、連続性尤度マップ生成部130、および統合尤度マップ生成部140を有する。
エッジペア尤度マップ生成部120は、画像中の画素ごとに、エッジペア尤度を算出する。画素ごとのエッジペア尤度とは、当該画素の近傍に存在する画素が、推定対象である部位(以下、「対象部位」という)のエッジであることの尤もらしさを数値化して示したものである。エッジペア尤度マップ生成部120は、画素の近傍に存在する、所定の勾配方向に平行なエッジペアに基づいて、エッジペア尤度を算出する。そして、エッジペア尤度マップ生成部120は、算出したエッジペア尤度を画素ごとに示すエッジペア尤度マップを生成する。
ここで、上記「部位」とは、人の多関節物体の一部分をいう。また、ここでいう「人」とは、人体あるいは動物やロボットなどの多関節物体を含む、あらゆる多関節物体を含む概念とする。
連続性尤度マップ生成部130は、エッジペア尤度マップに対して、対象部位の大きさや形状を想定した領域内に含まれる画素のエッジペア尤度について連続性を評価する。そして、連続性尤度マップ生成部130は、連続性のあるエッジペア尤度を、部位領域の候補として示す連続性尤度マップを生成する。ここでいう「部位領域」とは、画像において「対象部位が占める領域」、換言すれば「対象部位を示す領域」を意味する。
統合尤度マップ生成部140は、連続性尤度マップが示す部位領域の候補を予め定められた条件を基に絞り込み、絞り込んだ部位領域の候補を示す統合尤度マップを生成する。
部位推定装置100は、例えば、CPU(Central Processing Unit)、制御プログラムを格納したROM(Read Only Memory)などの記憶媒体、およびRAM(Random Access Memory)などの作業用メモリを有する。この場合、上記した各構成部の機能は、CPUが制御プログラムを実行することにより実現される。
このような部位推定装置100は、以下の動作により、複雑な画像においても精度よく部位を推定することができる。なお、「複雑な画像」とは、例えば、胴に腕が重なっている画像や、服のしわや人工物による平行線のエッジが多数存在する画像、などである。
まず、エッジペア尤度マップ生成部120は、画像中の画素ごとに、当該画素の近傍に存在する、所定の勾配方向に平行なエッジペアに基づいて、エッジペア尤度を算出する。そして、エッジペア尤度マップ生成部120は、算出したエッジペア尤度を画素ごとに示すエッジペア尤度マップを生成する。ここで、平行線の幅は、対象部位の太さとする。これにより、エッジペア尤度マップ生成部120は、対象部位に対応したエッジペア尤度マップを生成できる。
次に、連続性尤度マップ生成部130は、エッジペア尤度マップを、対象部位として評価する。画素ごとのエッジペア尤度は、当該画素の近傍に存在する画素が、対象部位のエッジであることの尤もらしさを示す。したがって、画像中、対象部位が存在する領域においては、想定領域内に含まれる画素のエッジペア尤度の総和は大きくなる。「想定領域」とは、対象部位の大きさや形状を予め想定した領域である。
連続性尤度マップ生成部130は、エッジペア尤度マップに対して、想定領域内のエッジペア尤度の総和が、予め定められた閾値より大きければ、想定領域内のエッジペア尤度を残す。もしくは、想定領域内のエッジペア尤度の総和が、予め定められた閾値より小さければ、連続性尤度マップ生成部130は、想定領域内に、エッジペア尤度がないことを示す値(例えばゼロ)を設定するようにしてもよい。
このように、部位推定装置100は、画素ごとのエッジペア尤度を閾値でフィルタリングするのではなく、部位領域である可能性が高い領域に含まれる画素のエッジペア尤度を残すようにする。これにより、部位推定装置100は、エッジペア尤度が低くても部位領域である可能性が高い領域に含まれる画素を、残すことができる。また、部位推定装置100は、エッジペア尤度が高くても部位領域である可能性が低い領域に含まれる画素のエッジペア尤度を、削除する。これにより、部位推定装置100は、陰影やしわなど、部位領域ではない領域に含まれる画素を除去することができる。
したがって、部位推定装置100は、従来技術に比べて、対象部位の輪郭のみを平行線として抽出することが困難な画像からも、対象部位を精度よく推定することができる。
(実施の形態2)
本発明の実施の形態2は、本発明を、画像に含まれる人の部位を推定する装置に適用した場合の、具体的態様の一例である。
まず、本実施の形態に係る部位推定装置を含む部位推定システムの概要について説明する。
図2は、本実施の形態における部位推定システムの構成の一例を示すシステム構成図である。図2において、部位推定システム200は、監視エリア310を撮影する監視カメラ320と、監視カメラ320と通信可能に接続された部位推定装置100と、を有する。
監視カメラ320は、例えばデジタルビデオカメラであり、監視エリア310を斜め上方から撮影する。すなわち、監視カメラ320が撮影する画像は、人340および水平な床面330を含む実空間を撮影して得られた画像である。そして、監視カメラ320は、撮影した画像を、部位推定装置100へ送信する。ここでは、監視エリア310の床面330を、部位推定の対象となる人340が歩行しているものとする。
部位推定装置100は、例えばパーソナルコンピュータであり、監視カメラ320から受信した画像に基づいて、人340の部位を推定する。
以上で、部位推定システム200の概要についての説明を終える。
次に、本実施の形態において推定の対象となる人340の部位について説明する。
図3は、人340の身体の構成モデル(以下、「身体モデル」という)410の一例を示す図である。身体モデル410は、部位の推定に用いられる身体の各部位の位置関係を、模式的に示したものである。身体モデル410は、例えば、胴411、左大腿412、左下腿413、左足414、右大腿415、右下腿416、右足417、頭418、右上腕419、右前腕420、左上腕422、左前腕423を含む。
これらの各部位は、関節で接続されている。このため、各部位の可動域は、他の部位により制約を受ける。例えば、左足414は、左下腿413との接続点を中心とする所定の角度範囲でのみ動くことができる。本実施の形態では、部位推定装置100は、各部位の接続関係を用いて、身体モデル410における各部位の領域(上記「部位領域」)を、画像から推定するものとする。なお、部位推定装置100が用いる身体モデルは、図3に示す例に限定されるものではない。
以上で、推定の対象となる人340の部位についての説明を終える。
次に、部位推定装置100の構成について説明する。
図4は、部位推定装置100の構成の一例を示すブロック図である。図4において、部位推定装置100は、画像入力部110、エッジペア尤度マップ生成部120、連続性尤度マップ生成部130、統合尤度マップ生成部140、結果出力部150を有する。
画像入力部110は、画像を入力する。
具体的には、画像入力部110は、監視カメラ320が撮影した画像を受信する。そして、画像入力部110は、受信した画像を、順次、エッジペア尤度マップ生成部120へ出力する。
エッジペア尤度マップ生成部120は、画像中の画素ごとに、各画素近傍において、所定の勾配方向に平行なエッジペアに基づいて、エッジペア尤度を算出する。そして、エッジペア尤度マップ生成部120は、算出したエッジペア尤度を画素ごとに示すエッジペア尤度マップを生成する。画素ごとのエッジペア尤度とは、当該画素の近傍に存在する画素が、対象部位のエッジであることの尤もらしさを数値化して示すものである。エッジペア尤度マップ生成部120は、予め定義された複数の勾配方向について、それぞれエッジペア尤度マップを生成する。
まず、エッジペアについて説明する。ここで、画像に含まれる所定の画素を「注目画素」と呼ぶ。画像には、注目画素を基準として2つの画素が存在しうる。これら2つの画素は、予め定義された勾配方向に垂直かつ注目画素を含む直線上にあり、注目画素から等距離に位置している。また、2つの画素の間の距離は、対象部位の太さである。このような2つの画素を「勾配方向ペア画素」と呼ぶ。また、勾配方向ペア画素のそれぞれを中心とした2つの小領域を「勾配方向ペア近傍領域」と呼ぶ。
そして、勾配方向ペア近傍領域のどちらにもエッジである画素(以下、単に「エッジ」という)が含まれる場合、注目画素に対して「エッジペアが存在する」と称する。そしてこのとき、勾配方向ペア近傍領域に含まれるエッジからなる画素の集合を、「注目画素のエッジペア」と呼ぶ。
また、注目画素のエッジペア尤度は、注目画素のエッジペアに基づいて算出される。例えば、片方の勾配方向ペア近傍領域にエッジが多く含まれている一方、もう片方の勾配方向ペア近傍領域に含まれるエッジが少ない場合には、エッジペア尤度は低くなる。なお、エッジペア尤度の具体的な算出方法については、後述する。
また、画像の全ての画素に対して、算出したエッジペア尤度をマッピングしたものを、「エッジペア尤度マップ」と呼ぶ。
また、エッジペア尤度マップに含まれる全てのエッジペア尤度は、注目画素の位置を示すx座標x、y座標y、勾配方向kを特定して識別される。
なお、本実施の形態では、注目画素に対し、予め定義された全ての勾配方向の勾配方向ペア領域を含む領域を「局所領域」と呼ぶ。
そして、エッジペア尤度マップ生成部120は、予め定義された複数の勾配方向について、それぞれエッジペア尤度マップを生成する。その後、エッジペア尤度マップ生成部120は、生成したエッジペア尤度マップを連続性尤度マップ生成部130に出力する。
なお、エッジペア尤度マップの生成手法の詳細については、後述する。
連続性尤度マップ生成部130は、生成されたエッジペア尤度マップの、同一勾配方向のエッジペア尤度について、想定領域内に含まれる画素のエッジペア尤度の連続性を評価し、連続性尤度マップを生成する。
画素ごとのエッジペア尤度は、当該画素の近傍に存在する画素が、対象部位のエッジであることの尤もらしさである。したがって、画像中、対象部位が存在する領域においては、想定領域内に含まれる画素のエッジペア尤度の総和は大きくなる。
連続性尤度マップ生成部130は、勾配方向別のエッジペア尤度マップのそれぞれに対して、想定領域内のエッジペア尤度の総和が大きければ、想定領域内のエッジペア尤度を残す。もしくは、連続性尤度マップ生成部130は、想定領域内のエッジペア尤度の総和が小さければ、想定領域内に、エッジペア尤度がないことを示す値(例えばゼロ)を設定するようにしてもよい。
なお、連続性尤度マップの生成手法の詳細については、後述する。
統合尤度マップ生成部140は、連続性尤度マップから勾配方向別に抽出された部位領域の候補の中から、予め定められた対象部位の条件に当てはまる領域を抽出し、抽出した領域を示す統合尤度マップを生成する。
なお、対象部位の条件に当てはまる領域の抽出手法の詳細については、後述する。
結果出力部150は、結合尤度マップ生成部140による部位の推定の結果を出力する。
具体的には、結果出力部150は、例えば液晶ディスプレイなどの表示装置を含む。結果出力部150は、部位が推定された場合にはその部位を示す情報を、一方、部位が推定されなかった場合にはその旨を示す情報を、ユーザに通知する。この通知の方法は、文字および画像の少なくとも一方を用いた表示が挙げられる。
部位推定装置100は、例えば、CPU、制御プログラムを格納したROMなどの記憶媒体、およびRAMなどの作業用メモリを有する。この場合、上記した各構成部の機能は、CPUが制御プログラムを実行することにより実現される。
以上で、部位推定装置100の構成についての説明を終える。
次に、部位推定装置100の動作について説明する。
本実施の形態では、画像入力部110は、監視カメラ320等から入力された画像から、人340と推定される領域(以下、「人候補領域」という)が抽出された画像をエッジペア尤度マップ生成部120に出力するものとする。
上記「人候補領域が抽出された画像」とは、人候補領域以外の画素には、背景を示す値が格納されており、人候補領域の画素についてのみ画素値が格納されている画像のことである。
人候補領域の抽出には、監視カメラ320等から入力された画像と背景画像の背景差分画像が用いられてもよい。ここで、背景差分画像とは、例えば、人340がいない状態で撮影された背景画像と、入力された画像との差分を示す画像である。これにより、部位推定装置100は、監視カメラ等から入力された画像において背景と異なる画素を人候補領域として扱うことができる。
なお、部位推定装置100は、例えば、背景画像を予め保持し、背景画像と入力画像との差分を演算することにより背景差分画像を生成してもよい。あるいは、部位推定装置100は、入力された画像から移動物体の領域を抽出することにより、背景差分画像を生成してもよい。移動物体の領域の抽出は、例えば、前回入力された画像と今回入力された画像との差分に基づいて、静止物体と移動物体との識別をすることにより行われる。これにより、部位推定装置100は、移動体の一部であると識別された画素を人候補領域とすることができる。
なお、本実施の形態においては、画像入力部110は、グレースケールの画像をエッジペア尤度マップ生成部120に出力するものとする。
監視カメラ320等から入力された画像がRGB(Red Green Blue)値の場合、画像入力部110は、各画素のRGB値から輝度Y(画素の明るさ)のみを抽出したグレースケール(白黒階調の)画像へ変換して出力する。輝度Yは、例えば、以下の式で算出される。
Y(R,G,B)=R×0.29891+G×0.58661+B×0.11448
また、本実施の形態では、対象部位を腕(右上腕419、右前腕420、左上腕422、左前腕423)とする。なお、部位推定装置100は、前腕と上腕を区別して部位を推定してもよい。
また、本実施の形態では、人候補領域のうち、画像における上部の領域を、腕候補領域として抽出し、腕候補領域に含まれる全画素を処理対象とする。上部の領域は、例えば、人候補領域の所定の比率(例えば、上から10%から50%)の部分を含む領域として、予め定められている。
図5は、部位推定装置100の動作の一例を示すフローチャートである。
ステップS1000において、画像入力部110は、1フレーム分の画像データを入力する。
ステップS2000において、エッジペア尤度マップ生成部120は、入力した画像を基に、エッジペア尤度マップ生成処理を行う。エッジペア尤度マップ生成処理は、上述のエッジペア尤度マップを生成する処理である。その詳細は、図6および図7を用いて後述する。
ステップS3000において、連続性尤度マップ生成部130は、エッジペア尤度マップを基に、連続性尤度マップ生成処理を行う。連続性尤度マップ生成処理は、上述の連続性尤度マップを生成する処理である。その詳細は、図8および図9を用いて後述する。
ステップS4000において、統合尤度マップ生成部140は、連続性尤度マップを基に、統合尤度マップ生成処理を行う。統合尤度マップ生成処理は、上述の統合尤度マップを生成する処理である。その詳細は、図10を用いて後述する。
ステップS5000において、結果出力部150は、統合尤度マップを基に、結果出力処理を行う。結果出力処理は、ステップS4000で推定された対象部位の情報を出力する処理である。
例えば、結果出力部150は、画像ごとに、推定した部位の候補領域を重畳し、液晶ディスプレイに表示する。なお、結果出力部150は、重畳する際、部位の候補領域の勾配方向を示す情報を、色などで区別できるように表示するようにしてもよい。
ステップS6000において、結果出力部150は、予め設定された所定の処理終了条件が満たされているか否かを判断する。ここでいう「所定の処理終了条件」とは、例えば、ユーザの操作により部位推定処理の終了を指示されることである。
結果出力部150は、所定の処理終了条件が満たされていない場合(S6000:NO)、ステップS1000へ戻って処理を繰り返す。一方で、結果出力部150は、所定の処理終了条件が満たされている場合(S6000:YES)、一連の処理を終了する。
このような動作により、部位推定装置100は、画素ごとのエッジペア尤度および想定領域ごとの連続性尤度を基に抽出した対象部位の候補領域の中から、最も適切な候補領域を抽出して示す統合尤度マップを生成することができる。これにより、部位推定装置100は、部位の輪郭を直線で抽出することが難しい画像であっても、人340の対象部位を推定することができる。
以上で、部位推定装置100の動作についての説明を終える。
次に、図6および図7を用いて、エッジペア尤度マップ生成処理(図5のステップS2000)の一例について説明する。
図6は、エッジペア尤度マップ生成処理(図5のステップS2000)の動作の一例を示すフローチャートである。図7は、勾配方向が水平方向であるエッジペア尤度マップの生成処理を説明するための図である。ここでは、水平方向を0度として、水平方向のエッジペア尤度マップを生成する例を説明する。
ステップS2001において、エッジペア尤度マップ生成部120は、生成するエッジペア尤度マップの勾配方向の刻み幅を選択する。ここでは例として、刻み幅が、予め30度に設定されているとする。このように勾配方向を30度刻みとする場合、0度、30度、60度、90度、120度、150度の6つのエッジペア尤度マップが生成されることになる。よって、その場合、エッジペア尤度マップ生成部120は、ステップS2002からS2006の処理を6回繰り返すことになる。
勾配方向の刻み幅は、対象部位の推定精度に影響する。高い推定精度が求められる場合、ユーザは、刻み幅を細かく設定すればよい。例えば、刻み幅を45度に設定した場合と30度に設定した場合とを比較すると、30度に設定した場合の方が、対象部位の推定精度が高くなる。
ステップS2002において、エッジペア尤度マップ生成部120は、腕候補領域710から、注目画素を選択する。腕候補領域710は、画像入力部110から入力した画像の一例である。例えば、図7において、エッジペア尤度マップ生成部120は、左上隅の画素(※で示す画素)を起点としてX座標とY座標をそれぞれ1ずつインクリメントすることで、図7に示す全ての画素を注目画素として選択する。ただし、選択の方法はこれに限定されない。図7では、腕候補領域710から注目画素702が選択された場合を例に説明する。
ステップS2003において、エッジペア尤度マップ生成部120は、勾配方向ペア画素を選択する。図7では、勾配方向ペア画素として704と705が選択される。
上述した通り、ここでは、水平方向のエッジペア尤度マップを生成する例としている。よって、エッジペア尤度マップ生成部120は、2つの条件を満たす画素として、704および705の2つを勾配方向ペア画素として選択する。2つの条件とは、注目画素702を通り水平な直線と垂直となる直線上にあること、および、注目画素702からの距離が対象部位の太さ701の半分の長さ703であること、である。すなわち、角度θのエッジペア尤度マップを生成する場合には、エッジペア尤度マップ生成部120は、注目画素を通り、角度θと垂直(θ+90度)の直線上で、距離が対象部位の太さ701の半分の長さ703となる画素を、勾配方向ペア画素として2つ選択するものとする。なお、対象部位の太さ701は、対象部位の太さの平均を表す、予め定められた値である。
ステップS2004において、エッジペア尤度マップ生成部120は、勾配方向ペア画素のそれぞれから予め設定された距離以内にある画素群を、勾配方向ペア近傍領域としてそれぞれ選択する。図7では、勾配方向ペア画素704および705のそれぞれから、近傍の長さ708の距離以内にある画素群が、勾配方向ペア近傍領域706および707としてそれぞれ選択されている。近傍の長さ708は、部位の見えの誤差の長さを表す、予め定められた値である。
ここで、上記「部位の見えの誤差の長さ」とは、画像上における、対象部位の太さの差のことである。対象部位は、その部位の端と中央とで太さが異なる場合がある。また、対象部位は、撮影される角度により、画像上での太さが異なって撮影されたり、部位の両端で太さが異なって撮影されたりすることがある。さらには、対象部位は、服のしわ等で太さが均一に撮影されないこともある。そのため、部位の平均の太さに対する、所定の画像上の部位の太さの差を、部位の見えの誤差の長さとして予め設定しておくことで、ロバストな推定が可能となる。
ステップS2005において、エッジペア尤度マップ生成部120は、注目画素702のエッジペア尤度を計算する。具体的には、エッジペア尤度マップ生成部120は、勾配方向ペア近傍領域706内の画素の輝度の総和と、勾配方向ペア近傍領域707内の画素の輝度の総和との積を、エッジペア尤度として算出する。
なお、エッジペア尤度マップ生成部120は、勾配方向ペア近傍領域706内で所定値以上の輝度Yを持つ画素の数と、勾配方向ペア近傍領域707内で所定値以上の輝度Yを持つ画素の数の積を、エッジペア尤度として算出するようにしてもよい。これにより、エッジペア尤度マップ生成部120は、各勾配方向ペア近傍領域706、707の大きさでエッジペア尤度を正規化することができる。
ステップS2006において、エッジペア尤度マップ生成部120は、腕候補領域710の全画素についてエッジペア尤度の算出が終了したか否かを判断する。全画素について計算が終了していれば(S2006:YES)、エッジペア尤度マップ生成部120は、ステップS2001で選択した刻み幅のエッジペア尤度マップの生成が終了したと判断し、ステップS2007に進む。一方、全画素について計算が終了していなければ(S2006:NO)、エッジペア尤度マップ生成部120は、ステップS2001で選択した刻み幅のエッジペア尤度マップの生成が終了していないと判断し、ステップS2002に進む。
ステップS2007において、エッジペア尤度マップ生成部120は、全ての勾配方向についてエッジペア尤度の算出が終了したか否かを判断する。全ての勾配方向について計算が終了していれば(S2007:YES)、エッジペア尤度マップ生成部120は、予め定められた全ての勾配方向のエッジペア尤度マップの生成が終了したと判断し、一連の処理を終了する。一方、全ての勾配方向について終了していなければ(S2007:NO)、エッジペア尤度マップ生成部120は、予め定められた全ての勾配方向のエッジペア尤度マップの生成が終了していないと判断する。よって、エッジペア尤度マップ生成部120は、未生成である勾配方向のエッジペア尤度マップを生成するために、ステップS2001に進む。
なお、上記図7の説明では、部位の太さ701と近傍の長さ708に関して、予め値を設定しておく例について説明したが、これに限定されない。すなわち、エッジペア尤度マップ生成部120は、人物候補領域または腕候補領域の大きさに比例して、値を動的に変化させ、適切な値に調節するようにしてもよい。これにより、エッジペア尤度マップ生成部120は、人340の画像上の大きさに応じて対象部位の太さ701と近傍の長さ708を、適切な値に変化させることができる。その結果、エッジペア尤度マップ生成部120は、より精度の高いエッジペア尤度マップを勾配方向別に生成できる。
次に、図8および図9を用いて、連続性尤度マップ生成処理(図5のステップS3000)の一例について説明する。
エッジペア尤度マップでは、対象部位が存在する領域内の画素は、対象部位が存在しない領域内の画素よりも、各画素の各勾配方向ペア近傍領域にエッジが存在する確率が高いため、エッジペア尤度が高くなる。したがって、連続性尤度マップ生成部130は、対象部位の候補領域内の特定の画素のみのエッジペア尤度が高く、特定の画素の周囲の画素のエッジペア尤度が低い場合には、その候補領域は、部位領域ではないと判断できることを利用する。
図8は、連続性尤度マップの基となるエッジペア尤度マップの一例を示す図である。図8では、エッジペア尤度マップの一部の領域810において、各画素の水平方向のエッジペア尤度を示している。
連続性尤度マップ生成部130は、連続性尤度マップの生成にあたり、対象部位の大きさや形状を想定した領域である部位矩形801を用いる。部位矩形801は、想定領域の一例である。図8では、部位矩形801は、上腕または前腕を想定した長方形を例示している。ただし、連続性尤度マップ生成部130は、対象部位の大きさや形状に応じた部位矩形を設定できる。また、部位矩形801は、長方形を例示しているが、対象部位の大きさや形状に応じた楕円を用いてもよい。部位の接続元および先端は、接続部位の形状が影響して部位の中央よりもエッジペア尤度が低い傾向があるため、部位矩形を楕円とすることで、部位の接続元および先端の影響度を低減し、より精度よく候補領域を抽出することができる。
図8に示す部位矩形801は、短辺が対象部位の平均の太さ、長辺は対象部位の平均の長さを想定している。
連続性尤度マップ生成部130は、部位矩形801の長辺の方向をエッジペア尤度マップの勾配方向と一致させる。そして、連続性尤度マップ生成部130は、部位矩形801に含まれる画素のエッジペア尤度の総和を評価する。
図8では、勾配方向が水平方向のエッジペア尤度を示すため、連続性尤度マップ生成部130は、部位矩形801の長辺の方向を水平に設定する。また、連続性尤度マップ生成部130は、例えば、部位矩形801の初期位置を連続性尤度マップの左上隅に設定する。そして、連続性尤度マップ生成部130は、x軸方向での1画素ずつの走査と、y軸方向での1行移動とを繰り返す。これにより、連続性尤度マップ生成部130は、連続性尤度マップの全領域において、部位矩形801に含まれる画素のエッジペア尤度の総和を評価する。
例えば、図8において、エッジペア尤度マップのエッジペア尤度Pを、注目画素の位置を示すx座標x、y座標y、勾配方向kを用いて、P(x、y、k)とする。また、部位矩形801の左上隅の画素の位置を(i,j)とし、部位矩形の長辺の長さをr、短辺の長さをs、勾配方向kとする。このとき、連続性尤度マップ生成部130は、部位矩形801で囲まれた画素のエッジペア尤度の総和Tを、以下の式で求める。
Figure 0005801237
図8の例では、(i,j)=(4,3)、r=5、s=2である。よって、上記式での算出の結果、部位矩形801内の画素のエッジペア尤度の総和Tは、41となる。
連続性尤度マップ生成部130は、エッジペア尤度の総和が所定の閾値以上の場合、部位矩形801に含まれる画素のエッジペア尤度マップ上の座標情報を、総和の評価結果のリスト情報に追加して保持しておく。連続性尤度マップ生成部130は、腕候補領域710の全領域について、部位矩形801に含まれる画素のエッジペア尤度の総和の評価が終了した後、以下の動作を行う。すなわち、連続性尤度マップ生成部130は、上記リスト情報において座標情報が保持されている画素のエッジペア尤度のみを保持する。もしくは、連続性尤度マップ生成部130は、残りの画素のエッジペア尤度を、エッジペア尤度がないことを示す値(例えばゼロ)に設定するようにしてもよい。このようにして、エッジペア尤度を評価した後の尤度を、「連続性尤度」と呼ぶことにする。
図9は、図8に示すエッジペア尤度マップを基に生成された連続性尤度マップの一例を示す図である。
図8において、所定の閾値が40の場合、腕候補領域の一部810の全領域について部位矩形801に含まれる画素のエッジペア尤度の総和の評価が終了したとする。このとき、エッジペア尤度の総和の評価結果のリスト情報に保持されている画素は、図8の部位矩形801で囲まれた領域の画素のみとなる。連続性尤度マップ生成部130は、部位矩形801で囲まれた領域以外の画素のエッジペア尤度を、エッジペア尤度がないことを示す値(例えばゼロ)に設定して、連続性尤度マップを生成する。この結果、図9に示すように、連続性尤度マップ820が生成される。
ここで、所定の閾値は、対象部位の部位矩形801によって異なるものであってもよい。例えば、対象部位の部位矩形801の大きさに比例して閾値を変えてもよい。また、身体モデルにおける対象部位の位置によって、閾値を変えてもよい。例えば、対象部位が身体モデルの先端にある場合には、対象部位が他の部位と重ならず、検出される可能性が高いため閾値を高く設定し、対象部位が身体モデルの中央にある場合には、他の部位と重なる可能性が高く、検出される可能性が低いため閾値を低く設定することでよりロバストな連続性尤度マップを生成するようにしてもよい。また、事前に準備した画像のエッジペア尤度を用いて、対象部位の部位矩形801に含まれる画素のエッジペア尤度の総和を学習しておくようにしてもよい。
連続性尤度マップ生成部130は、上記処理を、勾配方向別のエッジペア尤度マップ全てに対して繰り返す。これにより、勾配方向別に連続性尤度マップが生成される。
このように、連続性尤度マップ生成部130は、各画素のエッジペア尤度を閾値でフィルタリングするのではなく、対象部位の大きさや形状を想定した領域(例えば、部位矩形801)単位で閾値を設定し、エッジペア尤度をフィルタリングする。これにより、連続性尤度マップ生成部130は、画素単体ではエッジペア尤度が低い画素であっても、部位領域に含まれる可能性が高い画素を残すことができる。また、連続性尤度マップ生成部130は、画素単体でエッジペア尤度が高くても、対象部位の大きさや形状を想定した領域のエッジペア尤度の総和が閾値より小さければ、対象部位の領域の条件を満たさない画素のエッジペア尤度をノイズとして除去することができる。
次に、図10を用いて、統合尤度マップ生成処理(図5のステップS4000)の一例について説明する。
図10は、統合尤度マップ生成処理(図5のステップS4000)の動作の一例を示すフローチャートである。
統合尤度マップは、勾配方向別に生成した連続性尤度マップの全てを用いて作成され、最も対象部位の可能性が高い領域を示すマップである。
ステップS9001において、統合尤度マップ生成部140は、連続性尤度マップの同一勾配方向ごとに、対象部位の候補領域の数をカウントする。すなわち、勾配方向が6つある場合、統合尤度マップ生成部140は、6つの勾配方向ごとに候補領域の数をカウントする。ここでいう「対象部位の候補領域」とは、連続性尤度マップにおいて、同一勾配方向に連続した画素に、連続性尤度が付与された領域のことである。例えば、図9の例では、対象部位の候補領域の数は1である。本実施の形態では、6つの勾配方向ごとに候補領域の数をカウントしたところ、5つの候補領域が抽出されたとする。
ステップS9002において、統合尤度マップ生成部140は、勾配方向別にカウントした対象部位の候補領域の数の総和と、対象部位の数とを比較する。ここでいう「対象部位の数」は、予め定められた値である。比較の結果、候補領域の数の総和が対象部位の数以下だった場合(S9002:YES)、統合尤度マップ生成部140は、連続性尤度マップを統合尤度マップとし、一連の処理を終了する。一方、候補領域の数の総和が対象部位数より大きい場合(S9002:NO)、統合尤度マップ生成部140は、ステップS9003に進む。
本実施の形態では、対象部位の数を4(右前腕420、右上腕419、左上腕422、左前腕423)としている。そのため、統合尤度マップ生成部140は、候補領域の数の総和が4以下ならば、一連の処理を終了し、4より多ければステップS9003に進む。
ステップS9003において、統合尤度マップ生成部140は、勾配方向別にカウントした対象部位の候補領域ごとに、候補領域に含まれる画素の連続性尤度の総和を算出する。そして、統合尤度マップ生成部140は、算出した総和が高い領域から順に、対象部位の数の候補領域を抽出する。
本実施の形態では、対象部位の数を4としているため、統合尤度マップ生成部140は、5つ全ての候補領域について、候補領域に含まれる画素の連続性尤度の総和を算出する。そして、統合尤度マップ生成部140は、算出した総和の値が高い領域から順に、4つの候補領域を抽出する。
ステップS9004において、統合尤度マップ生成部140は、抽出した候補領域が対象部位の身体制約を満たすか否かを判定する。
例えば、本実施の形態では、対象部位は上腕または前腕であり、上腕と前腕は少なくとも関節で接続している、という身体制約を用いるとする。具体的には、各候補領域の少なくとも一方の先端付近には、他の候補領域の先端が存在しているという判定基準を用いる。
ここで、候補領域の先端の位置を表す先端座標を特定する方法の一例を説明する。
例えば、図9に示す、勾配方向が水平方向である連続性尤度マップにおいて、候補領域を通り水平方向(X軸方向)の直線群を考える。この直線群のうち、直線と候補領域の重なる長さが最も長くなる直線を考える。この直線と候補領域の境界の画素を候補領域の先端の画素とする。例えば、図9では、候補領域の先端の画素をX軸とY軸の値(x、y)で表現すると、(4,3)と(8,3)、または(4,4)と(8,4)となる。ここでは、候補領域の先端の画素が複数あった場合には、各座標の値の平均値を先端座標とするため、(4,3.5)と(8,3.5)とする。
本実施の形態では、同様にして、統合尤度マップ生成部140は、他の3つの候補領域の先端座標を求める。そして、統合尤度マップ生成部140は、候補領域ごとに、部位領域のどちらか一方の先端から所定の距離内に他の候補領域の先端が存在するかを判定する。そして、統合尤度マップ生成部140は、全ての候補領域について、部位領域のどちらか一方の先端から所定の距離内に他の候補領域の先端が存在する場合には、身体制約を満たすと判断する。ここで、上記「所定の距離」とは、部位領域の大きさに依存し、部位領域の短辺より短い長さである。
統合尤度マップ生成部140は、身体制約を満たせば(S9004:YES)、抽出した候補領域の連続性尤度を保持し、他の値を連続性尤度がないことを示す値(例えばゼロ)に設定して統合尤度マップを生成し、一連の処理を終了する。一方、統合尤度マップ生成部140は、身体制約を満たさなければ(S9004:NO)、ステップS9003に戻り、候補領域の抽出を継続する。
なお、統合尤度マップ生成部140は、全ての候補領域の組み合わせが身体制約を満たさなかった場合、最も身体制約に近い候補領域の組み合わせを、候補領域とみなして抽出する。そして、統合尤度マップ生成部140は、抽出した候補領域の連続性尤度を保持し、他の値を連続性尤度がないことを示す値(例えばゼロ)に設定して統合尤度マップを生成し、一連の処理を終了する。
統合尤度マップ生成部140が、所定の候補領域について、最も身体制約に近いか否かを判断する方法の一例について説明する。まず、統合尤度マップ生成部140は、部位領域のどちらか一方の先端から所定の距離内に他の候補領域の先端が存在しない部位候補について、部位領域のどちらか一方の先端から他の候補領域の先端までの最短距離を算出し、候補領域の組み合わせごとに、最短距離と所定の距離の差の和を計算する。統合尤度マップ生成部140は、この値が小さいものを身体制約に近いと判断する。
このように、部位推定装置100は、勾配方向別に生成した連続性尤度マップを活用して、身体制約も考慮して、最も部位である可能性が高い領域のみを抽出する、これにより、さらに精度よく部位を推定することができる。
なお、ここでは、統合尤度マップ生成部140は、「前腕と上腕は関節で接続されている」という身体制約を用いたが、別途、頭や肩の位置を推定する処理を行い、「肩の近傍に上腕の候補領域の先端が存在する」という身体制約を用いてもよい。これにより、部位推定装置100は、さらに精度よく部位を推定することができる。
また、図9に示すフローにおいて、身体制約を満たすか否かの判定(ステップS9004)自体を省略してもよい。
以上説明したように本実施の形態によれば、以下の作用および効果を得ることができる。すなわち、部位推定装置100はまず、入力した画像の画素ごとに、局所領域での対象部位らしさを数値化したエッジペア尤度マップを、勾配方向別に生成する。これにより、部位推定装置100は、局所領域における対象部位らしさをもれなく抽出することができる。続いて、部位推定装置100は、エッジペア尤度マップ上において対象部位に相当する領域を基に判別した対象部位らしさを示す連続性尤度マップを、勾配方向別に生成する。これにより、部位推定装置100は、局所領域では部位らしさを満たしていても、領域としての部位らしさを満たさない領域を、部位でないと判断することができる。さらに、部位推定装置100は、連続性尤度マップから勾配方向別に抽出した候補領域の中から、最も対象部位らしい身体制約を満たす領域を絞り込んで示す統合尤度マップを生成する。これにより、部位推定装置100は、人340の対象部位を推定することができる。以上の一連の動作により、部位推定装置100は、上述の通り、部位の輪郭を直線で抽出することが難しい画像であっても、人340の部位を高精度に推定することができる。
(実施の形態3)
本発明の実施の形態3は、本発明を、撮影された画像に含まれる人の部位を推定する装置に適用した場合の、具体的態様の一例である。
本実施の形態は、実施の形態2に機能を追加したものであり、実施の形態2と同一部分には同一符号を付し、それらについての説明を省略する。
本実施の形態において、部位推定装置は、画像中に、対象部位と類似する形状の人工物が存在する場合、対象部位と人工物を区別することによって、より精度よく部位を推定する。
まず、本実施の形態に係る部位推定装置を含む部位推定システムの概要は、実施の形態2と同様である。
次に、部位推定装置100bの構成について説明する。
図11は、部位推定装置100bの構成の一例を示すブロック図である。図11において、部位推定装置100bは、画像入力部110、エッジペア尤度マップ生成部120、連続性尤度マップ生成部130、分散尤度マップ生成部160、統合尤度マップ生成部140b、結果出力部150を有する。
図11において、図4と異なる部分は、2つある。1つは、分散尤度マップ生成部160が追加されていること、である。もう1つは、統合尤度マップ生成部140bが、分散尤度マップ生成部160が生成した分散尤度マップを用いて、統合尤度マップを生成すること、である。
分散尤度マップ生成部160は、連続性尤度マップ生成部130が勾配方向別に生成した連続性尤度マップのそれぞれにおいて、予め定義された想定領域(例えば部位矩形)内に含まれる連続性尤度の分散を評価する。そして、分散尤度マップ生成部160は、連続性尤度の分散の評価を、連続性尤度マップ全体を網羅するまで繰り返すことで、分散尤度マップを生成する。上記「予め定義された想定領域」とは、例えば、対象部位の候補領域である。ここでいう「対象部位の候補領域」とは、連続性尤度マップにおいて、同一勾配方向に連続した画素に対して、連続性尤度が付与された領域のことである。
具体的には、分散尤度マップ生成部160は、連続性尤度マップの連続性尤度の分散が、対象部位の分散と異なる、と判断された連続性尤度を削除する。もしくは、分散尤度マップ生成部160は、対象部位の分散と類似していると判断された連続性尤度のみを保持するようにしてもよい。このようにして、分散尤度マップが生成される。
この分散尤度マップの生成処理は、人工物と人の部位では、連続性尤度の分散が異なることを利用したものである。工業製品などの人工物のエッジは、人の部位のエッジの勾配と比較すると、単一の勾配で抽出されやすく、分散の値が小さくなる傾向にある。したがって、分散を評価することで、人工物と人の部位を判別することが可能となる。
なお、分散尤度マップの生成手法の詳細については、後述する。
このような部位推定装置100bは、まず、上記実施の形態1、2と同じく、エッジペア尤度マップ生成処理および連続性尤度マップ生成処理を行う。その後、部位推定装置100は、連続性尤度の分散を評価して対象部位の分散を満たす分散尤度マップを勾配方向別に生成する分散尤度マップ生成処理を行う。そして、部位推定装置100bは、勾配方向別の分散尤度マップを基に、対象部位の身体制約を満たす統合尤度マップを生成する。以上のようにして、部位推定装置100bは、部位の輪郭を直線で抽出することが難しい画像であっても、人工物が混在する画像であっても、人340の部位を高精度に推定することができる。
以上で、部位推定装置100bの構成についての説明を終える。
次に、部位推定装置100bの動作について説明する。
図12は、部位推定装置100bの動作の一例を示すフローチャートである。
図12が図5と異なるのは、連続性尤度マップ生成処理(S3000)と統合尤度マップ生成処理(S4000)の間に、分散尤度マップ生成処理(S7000)が追加されていることである。
ステップS7000において、分散尤度マップ生成部160は、分散尤度マップ生成処理を行う。分散尤度マップ生成処理は、上述の分散尤度マップを生成する処理である。
ここで、分散尤度マップ生成処理(S7000)の一例について説明する。
分散尤度マップ生成部160は、下記式を用いて分散の値を求める。
Figure 0005801237
画像においては、工業製品等の人工物のエッジは直線で構成されていることが多い。よって、人工物は人340の部位よりも連続性尤度マップの分散の値が小さくなることを利用することにより、人工物と人340の部位の区別が可能となる。具体的には、分散尤度マップ生成部160は、連続性尤度マップの部位の候補領域の分散を、同一勾配方向別に求める。求めた分散の値が所定の閾値よりも小さければ、分散尤度マップ生成部160は、候補領域は人工物であると判断する。そして、分散尤度マップ生成部160は、分散の値が所定の閾値よりも小さい画素の連続性尤度を、連続性尤度がないことを示す値(例えばゼロ)に設定する。一方で、求めた分散の値が所定の閾値よりも大きければ、候補領域は部位の可能性が高いと判断する。そして、分散尤度マップ生成部160は、分散の値が所定の閾値よりも大きい画素の連続性尤度を保持する。例えば、分散尤度マップ生成部160は、勾配方向kの候補領域の分散が所定の閾値よりも小さい場合、その候補領域に含まれる画素の勾配方向kの連続性尤度を、尤度がないことを示す値(例えばゼロ)に設定する。
ここで、分散尤度マップ生成部160は、上記「所定の閾値」として、予め学習しておいた値を用いてもよいし、前回部位推定した結果の部位領域の分散の平均の値を基に算出してもよい。または、分散尤度マップ生成部160は、今回抽出した候補領域の分散を、判別分析法を用いて人工物と部位に分類してもよい。判別分析法は、分離度が最大となる閾値を求め、自動的に二値化を行う公知の手法である。分離度は人工物と部位の2つのクラスに分類するときのクラス間分散とクラス内分散との比で求められる。
分散尤度マップ生成部160が連続性尤度マップの部位の候補領域の分散を算出する手法の一例を説明する。
まず、分散尤度マップ生成部160は、連続性尤度マップの部位の候補領域の重心Cを、以下の式を用いて算出する。
重心Cは、部位の候補領域に含まれるk番目の画素Gのx座標とy座標の位置をG=(x,y)とすると、画素がm個ある場合、以下の式によって算出される。
Figure 0005801237
重心Cを通り、部位の候補領域を含む連続性尤度マップの勾配方向と垂直の直線を考える。例えば、部位の候補領域を含む連続性尤度マップの勾配方向がθの場合、重心Cを通り、角度がθ+90度の直線を考える。そして、分散尤度マップ生成部160は、部位の候補領域で、かつ、この直線上の画素の値を、上述した分散σを求める式の値xとして分散を求める。
分散尤度マップ生成部160は、このように算出した部位の候補領域の分散と、予め設定した所定の閾値とを比較する。比較の結果、分散の値が所定の閾値より小さければ、分散尤度マップ生成部160は、その領域は部位の可能性が低いと判断して、その勾配方向の連続性尤度を連続性尤度の値がないことを示す値(例えばゼロ)に設定する。もしくは、比較の結果、分散の値が所定の閾値以上であれば、分散尤度マップ生成部160は、その領域は部位である可能性が高いと判断して、その勾配方向の連続性尤度のみを保持するようにしてもよい。
なお、ここでは、分散尤度マップ生成部160は、部位の候補領域の重心Cの一点のみの分散を評価したが、複数の分散を算出してその平均値を用いて判断してもよい。これにより、ロバスト性が向上する。例えば、分散尤度マップ生成部160は、重心Cを通り、部位の候補領域を含む連続性尤度マップの勾配方向の直線上の、重心C以外の画素についても、上記重心Cについて行った処理と同じ処理を行って、複数の分散を求めてもよい。
なお、連続性尤度マップ生成部130は、部位矩形801を用いて連続性尤度マップを生成する際、部位矩形801近傍の画素のエッジペア尤度を残すようにしてもよい。分散は、データのばらつきを示す値であり、期待値から離れている値の量によって大きさが変わる。したがって、期待値から離れているエッジペア尤度を残すと、人工物と部位の分散の違いが大きくなり、判別しやすくなる。これについて、図13を用いて説明する。
図13は、分散尤度マップの基となる連続性尤度マップの一例を示す。連続性尤度マップ820は、連続性尤度マップ生成部130が、部位矩形801に含まれる画素のエッジペア尤度だけでなく、部位矩形801の近傍領域802に含まれる画素のエッジペア尤度も保持して生成したものである。
図13の連続性尤度マップ820においては、部位矩形801には含まれないが、部位矩形801の近傍領域802に含まれる画素にも比較的高いエッジペア尤度(連続性尤度)が存在している。そのため、図13の連続性尤度マップ820を用いて算出された分散は、図9の連続性尤度マップ820から算出された分散よりも、大きくなる。これにより、分散尤度マップ生成部160は、人工物と部位を精度よく区別することができる。このように、分散尤度マップ生成部160が部位矩形だけでなく近傍領域802を含めて分散を求めることで、人工物と部位を判別する精度を向上させることができる。
なお、図13では、部位矩形の各辺を1画素ずつ大きくした近傍領域802を例として示したが、これに限定されない。近傍領域802は、部位矩形801の大きさや対象部位の種類などに応じて、変動するようにしてもよい。
なお、ここでは、分散尤度マップ生成部160が候補領域内の分散を評価する例について説明したが、分散ではなく連続性尤度の平均値も用いて評価してもよい。これは、人工物の連続性尤度は、分散の値が小さいため、連続性尤度の平均値が高くなる傾向がある特性を利用する。この場合、分散尤度マップ生成部160は、候補領域内の連続性尤度を持つ画素の平均値を求める。
例えば、図9において、連続性尤度マップの連続性尤度Pを、画素の位置を示すx座標x、y座標y、勾配方向kを用いて、P(x,y,k)とする。また、部位矩形801の左上隅の画素の位置を(i,j)とし、部位矩形の長辺の長さをr、短辺の長さをs、勾配方向k、部位矩形内で連続性尤度が0の画素の数をu、とする。このとき、部位矩形801に含まれる画素の連続性尤度の平均値Aは、以下の式で求められる。
Figure 0005801237
分散尤度マップ生成部160は、上記式により算出した部位の候補領域内の連続性尤度の平均値と、予め設定した所定の閾値とを比較する。比較の結果、平均の値が所定の閾値より大きければ、分散尤度マップ生成部160は、その領域は部位である可能性が低いと判断する。そして、分散尤度マップ生成部160は、その勾配方向の連続性尤度を、連続性尤度の値がないことを示す値(例えばゼロ)に設定する。一方、比較の結果、連続性尤度の平均の値が所定の閾値以下であれば、分散尤度マップ生成部160は、その領域は部位である可能性が高いと判断し、その勾配方向の連続性尤度を保持する。
なお、本実施の形態では、分散尤度マップ生成部160は、連続性尤度マップを用いて分散尤度マップを生成したが、エッジペア尤度マップを用いて同様に分散尤度マップを生成してもよい。その場合、エッジペア尤度マップには部位の候補領域がないため、分散尤度マップ生成部160は、全ての画素について、その画素の所定の距離内の領域について分散を計算して、人工物を判別する処理を行う。
このようにすることで、エッジペア尤度マップから人工物の可能性が高い領域のエッジペア尤度を取り除いて、部位を推定することができる。
このような部位推定装置100bは、まず、上記実施の形態1、2と同じく、エッジペア尤度マップ生成処理および連続性尤度マップ生成処理を行う。その後、部位推定装置100bは、連続性尤度マップを基に連続性尤度の分散を評価して、対象部位の分散の条件を満たす分散尤度マップを勾配方向別に生成する分散尤度マップ生成処理を行う。そして、部位推定装置100bは、勾配方向別の分散尤度マップを基に、対象部位の身体制約を満たす統合尤度マップを生成する。以上のようにして、部位推定装置100bは、部位の輪郭を直線で抽出することが難しい画像であっても、人工物が混在する画像であっても、人340の部位を高精度に推定することができる。
(実施の形態4)
本発明の実施の形態4は、対象部位を腕(右上腕419、右前腕420、左上腕422、左前腕423)としたときに、胴や頭など対象部位以外(以下、「非推定対象部位」という)の情報を用いる場合の例である。
本実施の形態に係る部位推定装置は、まず、画像から非推定対象部位の輪郭を抽出する。その後、部位推定装置は、連続性尤度マップまたは分散尤度マップにおいて、抽出した非推定対象部位の輪郭の近傍領域のエッジペア尤度または連続性尤度を下げて、その後の対象部位の推定処理を進める。これは、対象部位と非推定対象部位が画像上で重なることによって、非推定対象部位が存在する近傍の領域の画素のエッジペア尤度または連続性尤度が高くなっている可能性があることを鑑みたものである。このようにすることで、部位推定装置は、非推定対象部位の影響を取り除いて、より精度よく部位を推定することができる。
図14は、本実施の形態に係る部位推定装置の構成の一例を示すブロック図であり、実施の形態2の図4に対応するものである。図14において、図4と同一部分には同一符号を付し、それらについての説明は省略する。
図14において、部位推定装置100cは、図4の構成に加えて輪郭領域推定部170を有する。
本実施の形態では、対象部位を腕(右上腕419、右前腕420、左上腕422、左前腕423)として説明し、非推定対象部位を頭418と胴411として説明する。
輪郭領域推定部170は、画像から人340の非推定対象部位の輪郭を抽出し、その近傍の領域を輪郭領域として抽出する。
輪郭領域推定の一例を説明する。
まず、輪郭領域推定部170は、入力された画像から、背景差分画像を生成して、人340の人候補領域を抽出する。ここで、背景差分画像とは、例えば、人340がいない状態で撮影された背景画像と、入力された画像との差分を示す画像である。
これにより、輪郭領域推定部170は、背景と異なる画素を人候補領域として扱うことができる。
なお、輪郭領域推定部170は、例えば、背景画像を予め保持し、背景画像と入力画像との差分を演算することにより背景差分画像を生成する。あるいは、輪郭領域推定部170は、移動物体の領域を抽出することにより、背景差分画像を生成してもよい。また、輪郭領域推定部170は、例えば、前回入力された画像と今回入力された画像とで、輝度の異なる画素を抽出することにより移動物体の領域を抽出し、移動体物体の領域を人候補領域としてもよい。
本実施の形態では、まず、輪郭領域推定部170は、人候補領域のうち、上部の領域を、頭候補領域として抽出する。上部の領域は、例えば、人候補領域のうち上端から下方に向かって所定の比率(例えば、30%)の部分を含む領域として、予め定められている。輪郭領域推定部170は、この頭候補領域において輪郭となる画素を、頭の輪郭の画素として抽出する。
さらに、輪郭領域推定部170は、抽出した頭候補領域から、ハフ変換などを用いて頭領域を抽出してもよい。ハフ変換は公知の技術であり、エッジ情報から円の中心(X座標、Y座標)と半径を表す三つのパラメータを求めることができる。輪郭領域推定部170は、この円上の画素を頭の輪郭の画素として抽出してもよい。
輪郭領域推定部170は、頭候補領域から抽出した頭の輪郭の画素に、ハフ変換などによって求められた円上の画素を加えて頭の輪郭としてもよい。このようにすることで、輪郭領域推定部170は、人候補領域に欠損があった場合にも、よりロバストに頭の輪郭の画素を抽出できる。
また、輪郭領域推定部170は、頭候補領域から抽出した頭の輪郭の画素と頭候補領域から抽出した円状の画素の共通の画素を頭の輪郭として抽出してもよい。このようにすることで、輪郭領域推定部170は、より確実に頭の輪郭の画素を抽出できる。
次に、輪郭領域推定部170は、人候補領域のうち、中部の領域を、胴候補領域として抽出する。中部の領域は、例えば、人候補領域のうち、所定の比率(例えば上から20%から60%)の部分を含む領域として、予め定められている。輪郭領域推定部170は、この胴候補領域において輪郭となる画素を、胴の輪郭として抽出する。
さらに、輪郭領域推定部170は、頭の輪郭の画素の抽出と同様に、抽出した胴候補領域から、ハフ変換などを用いて楕円形状の胴候補領域を抽出してもよい。
輪郭領域推定部170は、胴候補領域から抽出した胴の輪郭の画素に、ハフ変換などを用いて求められた楕円上の画素を加えて胴の輪郭の画素として抽出してもよい。このようにすることで、輪郭領域推定部170は、胴候補領域に欠損があった場合にも、よりロバストに胴の輪郭の画素を抽出できる。
また、輪郭領域推定部170は、胴候補領域で抽出した画素と胴候補領域から抽出した楕円上の画素の共通の画素を、胴の輪郭の画素として抽出してもよい。このようにすることで、輪郭領域推定部170は、より確実に胴の輪郭の画素を抽出できる。
輪郭領域推定部170は、このように抽出した、頭418と胴411の輪郭の画素とその近傍の領域を、輪郭領域とする。具体的には、輪郭領域推定部170は、頭と胴の輪郭を中心として所定の距離内にある画素を輪郭領域とする。ここで、所定の距離とは、例えば、対象部位の画像上での見えの誤差の大きさに基づいて決めてもよい。
輪郭領域推定部170は、推定した輪郭領域を、統合尤度マップ生成部140cに出力する。
統合尤度マップ生成部140cは、輪郭領域推定部170が推定した輪郭領域と、連続性尤度マップ生成部が生成した連続性尤度マップを用いて、統合尤度マップを生成する。
統合尤度マップ生成部140cは、図10のS9003においてエッジペア尤度の総和が高い領域を抽出する際、輪郭領域推定部170が推定した輪郭領域と座標の位置が重なる候補領域の優先度を下げて、抽出する。「優先度」は、換言すれば、抽出(選択)される優先度である。具体的には、統合尤度マップ生成部140cは、例えば、座標の位置が重なる領域については、エッジペア尤度の総和から所定の値を減算した値に変更する。このようにすることで、統合尤度マップ生成部140cは、座標の位置が重ならない領域を、候補領域として優先的に選択することになる。よって、部位推定装置100cは、非推定対象部位の輪郭が、連続性尤度マップ生成時の条件であるエッジペア尤度の連続性を満たしている場合でも、精度よく対象部位を推定することができる。
ここで、上記「所定の値」とは、例えば、該当する候補領域のうち、候補領域と輪郭領域が重なる画素の割合(候補領域のうち輪郭領域と重なる画素数を候補領域の画素数で除したもの)と、該当する候補領域の総和との積、としてもよい。
または、統合尤度マップ生成部140cは、輪郭領域と、座標の位置が重なる候補領域を、対象部位数より優先度が下になるようにしてもよい。例えば、対象部位数が4で、候補領域が6つ抽出されており、エッジペア尤度の総和の多い順に並べると3番の候補領域が座標の位置が重なる場合を考える。この場合、統合尤度マップ生成部140は、この候補領域の総和の順を3番から5番以降に優先度を下げ、図10において一回目のS9004の処理で用いる組み合わせには入らないようにしてもよい。
なお、輪郭領域推定部170が推定した輪郭領域と座標の位置が重なるだけでなく、輪郭領域の向きが候補領域の方向と一致した場合に、優先度を下げるようにしてもよい。輪郭領域の向きとは、例えば、対象部位が身体モデル410の胴411であった場合、胴の左右の長辺の輪郭を直線で近似した場合の角度である。直線の近似は、公知の技術である最小二乗法により回帰直線を求める方法を用いてもよい。こうすることで、候補領域が、輪郭とノイズによってエッジペア尤度が高くなっている場合にも、精度よく部位を推定することができる。
なお、候補領域と部位矩形の類似度に応じて、優先度を変えるようにしてもよい。候補領域と部位矩形の類似度は、例えば、候補領域と部位矩形を重心で重ねたときに、候補領域と部位矩形が一致しない画素の数をカウントし、一致しない画素の数が多いほど、類似度が低いと判断し、優先度を下げるようにしてもよい。こうすることで、部位矩形と類似度の低い候補領域の優先度が下がり、服の柄などのノイズによってエッジペア尤度が高くなっている場合にも、精度よく部位を推定することができる。
なお、図15に示すように、統合尤度マップ生成部140cは、輪郭領域推定部170が推定した輪郭領域と、分散尤度マップ生成部160が生成した分散尤度マップを用いて、統合尤度マップを生成するようにしてもよい。このようにすることで、部位推定装置100cは、画像に人工物が含まれる場合にも、精度よく部位推定が行える。
これにより、部位推定装置100cは、非推定対象部位の存在によりエッジペア尤度が高くなっている可能性のある領域を部位領域の候補から除外することができるため、部位推定の精度を向上させることができる。
なお、以上説明した、本発明の実施の形態2、実施の形態3、実施の形態4では、背景差分画像から対象部位を推定する処理について説明したが、これに限定されない。例えば、部位推定装置は、公知技術であるメディアンフィルタを用いて背景差分画像からノイズを除去した画像を用いてもよい。また、部位推定装置100は、背景差分画像とエッジ画像とを重畳して得られる画像を用いてもよい。
また、上記実施の形態1〜4では、本発明をハードウェアで構成する場合を例にとって説明したが、本発明はハードウェアとの連係においてソフトウェアでも実現することも可能である。
本発明は、人、動物またはロボットなどの多関節物体の部位を推定する、部位推定装置、部位推定方法、および部位推定プログラムとして有用である。
100、100b、100c 部位推定装置
110 画像入力部
120 エッジペア尤度マップ生成部
130 連続性尤度マップ生成部
140、140b、140c 統合尤度マップ生成部
150 結果出力部
160 分散尤度マップ生成部
170 輪郭領域抽出部
200 部位推定システム
310 監視エリア
320 監視カメラ
330 床面
340 人

Claims (7)

  1. 画像中の画素ごとに、当該画素の近傍に存在するペアの画素が、推定対象である部位のエッジであることの尤もらしさを示すエッジペア尤度を算出し、当該エッジペア尤度を前記画素ごとに示すエッジペア尤度マップを生成するエッジペア尤度マップ生成部と、
    前記エッジペア尤度マップに対し、前記推定対象である部位を想定した領域内に含まれる画素のエッジペア尤度について連続性を評価し、連続性のあるエッジペア尤度を、前記推定対象である部位を示す候補領域として示す連続性尤度マップを生成する連続性尤度マップ生成部と、
    前記連続性尤度マップが示す前記候補領域を、予め定められた条件を基に絞り込んで示す統合尤度マップを生成する統合尤度マップ生成部と、を有する、
    部位推定装置。
  2. 前記連続性尤度マップに示される前記連続性のあるエッジペア尤度の分散を評価し、前記推定対象である部位の分散を満たす分散尤度マップを生成する分散尤度マップ生成部をさらに有し、
    前記統合尤度マップ生成部は、
    前記分散尤度マップに基づいて、前記統合尤度マップを生成する、
    請求項1記載の部位推定装置。
  3. 前記連続性尤度マップ生成部は、
    前記連続性のあるエッジペア尤度に加えて、前記推定対象である部位を想定した領域の近傍領域に含まれる画素のエッジペア尤度も考慮して、前記連続性尤度マップを生成し、
    前記分散尤度マップ生成部は、
    前記連続性尤度マップに基づいて、前記分散尤度マップを生成する、
    請求項2記載の部位推定装置。
  4. 前記推定対象である部位以外の部位である非推定対象部位の輪郭領域を推定する輪郭領域推定部をさらに有し、
    前記統合尤度マップ生成部は、
    前記候補領域を絞り込む際、前記輪郭領域推定部により推定された前記輪郭領域と座標が重ならない候補領域を、優先して選択する、
    請求項1から3のいずれか1項に記載の部位推定装置。
  5. 前記エッジペア尤度マップ生成部は、
    前記画像の大きさに応じて、前記エッジペア尤度マップ生成に用いる値を動的に調節する、
    請求項1から4のいずれか1項に記載の部位推定装置。
  6. 画像中の画素ごとに、当該画素の近傍に存在するペアの画素が、推定対象である部位のエッジであることの尤もらしさを示すエッジペア尤度を算出し、当該エッジペア尤度を前記画素ごとに示すエッジペア尤度マップを生成するステップと、
    前記エッジペア尤度マップに対し、前記推定対象である部位を想定した領域内に含まれる画素のエッジペア尤度について連続性を評価し、連続性のあるエッジペア尤度を、前記推定対象である部位を示す候補領域として示す連続性尤度マップを生成するステップと、
    前記連続性尤度マップが示す前記候補領域を、予め定められた条件を基に絞り込んで示す統合尤度マップを生成するステップと、を有する、
    部位推定方法。
  7. 画像を入力あるいは生成する装置のコンピュータに、
    前記画像中の画素ごとに、当該画素の近傍に存在するペアの画素が、推定対象である部位のエッジであることの尤もらしさを示すエッジペア尤度を算出し、当該エッジペア尤度を前記画素ごとに示すエッジペア尤度マップを生成する処理と、
    前記エッジペア尤度マップに対し、前記推定対象である部位を想定した領域内に含まれる画素のエッジペア尤度について連続性を評価し、連続性のあるエッジペア尤度を、前記推定対象である部位を示す候補領域として示す連続性尤度マップを生成する処理と、
    前記連続性尤度マップが示す前記候補領域を、予め定められた条件を基に絞り込んで示す統合尤度マップを生成する処理と、を実行させる、
    部位推定プログラム。

JP2012076072A 2012-03-29 2012-03-29 部位推定装置、部位推定方法、および部位推定プログラム Active JP5801237B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2012076072A JP5801237B2 (ja) 2012-03-29 2012-03-29 部位推定装置、部位推定方法、および部位推定プログラム
CN201380013587.3A CN104169968B (zh) 2012-03-29 2013-03-15 部位估计装置和部位估计方法
US14/388,254 US9639950B2 (en) 2012-03-29 2013-03-15 Site estimation device, site estimation method, and site estimation program
PCT/JP2013/001777 WO2013145615A1 (ja) 2012-03-29 2013-03-15 部位推定装置、部位推定方法、および部位推定プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012076072A JP5801237B2 (ja) 2012-03-29 2012-03-29 部位推定装置、部位推定方法、および部位推定プログラム

Publications (2)

Publication Number Publication Date
JP2013206259A JP2013206259A (ja) 2013-10-07
JP5801237B2 true JP5801237B2 (ja) 2015-10-28

Family

ID=49258929

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012076072A Active JP5801237B2 (ja) 2012-03-29 2012-03-29 部位推定装置、部位推定方法、および部位推定プログラム

Country Status (4)

Country Link
US (1) US9639950B2 (ja)
JP (1) JP5801237B2 (ja)
CN (1) CN104169968B (ja)
WO (1) WO2013145615A1 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5898199B2 (ja) * 2011-07-15 2016-04-06 パナソニック株式会社 姿勢推定装置、姿勢推定方法、および姿勢推定プログラム
US9934577B2 (en) * 2014-01-17 2018-04-03 Microsoft Technology Licensing, Llc Digital image edge detection
JP6381368B2 (ja) * 2014-08-26 2018-08-29 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
US10043084B2 (en) * 2016-05-27 2018-08-07 Toyota Jidosha Kabushiki Kaisha Hierarchical context-aware extremity detection
CN106713964A (zh) * 2016-12-05 2017-05-24 乐视控股(北京)有限公司 一种生成视频摘要视点图的方法及装置
JP6542824B2 (ja) 2017-03-13 2019-07-10 ファナック株式会社 入力画像から検出した対象物の像の尤度を計算する画像処理装置および画像処理方法
JP6977337B2 (ja) * 2017-07-03 2021-12-08 富士通株式会社 部位認識方法、装置、プログラム、及び撮像制御システム
US10672174B2 (en) 2018-06-28 2020-06-02 Adobe Inc. Determining image handle locations
US10621764B2 (en) 2018-07-05 2020-04-14 Adobe Inc. Colorizing vector graphic objects
CN109376649A (zh) * 2018-10-20 2019-02-22 张彦龙 一种从眼部灰度图像缩小似然图计算识别上下眼皮的方法
US10937185B2 (en) * 2018-12-03 2021-03-02 Everseen Limited System and method to detect articulate body pose
WO2021005745A1 (ja) * 2019-07-10 2021-01-14 三菱電機株式会社 情報処理装置、プログラム及び情報処理方法
JP7479925B2 (ja) * 2020-05-14 2024-05-09 キヤノン株式会社 画像処理システム、画像処理方法、及びプログラム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2620441B2 (ja) * 1991-11-20 1997-06-11 山武ハネウエル株式会社 部品輪郭抽出方法
JPH09198505A (ja) * 1996-01-16 1997-07-31 Mitsubishi Heavy Ind Ltd 線位置検出装置
JP4318465B2 (ja) 2002-11-08 2009-08-26 コニカミノルタホールディングス株式会社 人物検出装置および人物検出方法
JP4419543B2 (ja) 2003-12-05 2010-02-24 コニカミノルタホールディングス株式会社 検出装置および検出方法
CN101855650B (zh) * 2007-11-09 2012-12-12 富士通株式会社 生物体信息取得装置、生物体信息取得方法以及生物体认证装置
US9165199B2 (en) * 2007-12-21 2015-10-20 Honda Motor Co., Ltd. Controlled human pose estimation from depth image streams
CN100593792C (zh) * 2008-03-10 2010-03-10 北京航空航天大学 一种视频中的文本跟踪和多帧增强方法
US8520946B2 (en) * 2009-06-26 2013-08-27 Intel Corporation Human pose estimation in visual computing
CN102028482B (zh) * 2009-09-30 2012-11-14 同方威视技术股份有限公司 人体检查图像处理方法和人体检查设备
JP5027201B2 (ja) * 2009-10-16 2012-09-19 日本電信電話株式会社 テロップ文字領域検出方法,テロップ文字領域検出装置およびテロップ文字領域検出プログラム
CN101882319B (zh) * 2010-06-24 2011-11-30 西北工业大学 基于最小三维凸包的锥束ct快速重建方法
EP2463821A1 (en) * 2010-12-08 2012-06-13 Alcatel Lucent Method and system for segmenting an image
CN102096910A (zh) * 2011-01-25 2011-06-15 南京大学 用于二维相位展开的加权梯度质量图获取方法
JP4784709B1 (ja) * 2011-03-10 2011-10-05 オムロン株式会社 対象物追跡装置、対象物追跡方法、および制御プログラム

Also Published As

Publication number Publication date
CN104169968A (zh) 2014-11-26
JP2013206259A (ja) 2013-10-07
US9639950B2 (en) 2017-05-02
US20150055875A1 (en) 2015-02-26
CN104169968B (zh) 2017-05-10
WO2013145615A1 (ja) 2013-10-03

Similar Documents

Publication Publication Date Title
JP5801237B2 (ja) 部位推定装置、部位推定方法、および部位推定プログラム
US11087169B2 (en) Image processing apparatus that identifies object and method therefor
CN108475439B (zh) 三维模型生成系统、三维模型生成方法和记录介质
JP5873442B2 (ja) 物体検出装置および物体検出方法
JP6433149B2 (ja) 姿勢推定装置、姿勢推定方法およびプログラム
JP5820366B2 (ja) 姿勢推定装置及び姿勢推定方法
JP5877053B2 (ja) 姿勢推定装置および姿勢推定方法
JP5837508B2 (ja) 姿勢状態推定装置および姿勢状態推定方法
US7756293B2 (en) Movement capture and analysis apparatus and method
US20220383653A1 (en) Image processing apparatus, image processing method, and non-transitory computer readable medium storing image processing program
US9805443B2 (en) Image processing method, image processing apparatus, program, storage medium, production apparatus, and method of producing assembly
US9576191B2 (en) Posture estimation device, posture estimation method, and posture estimation program
JP6779699B2 (ja) 画像処理装置、情報処理方法及びプログラム
JP4445454B2 (ja) 顔中心位置検出装置、顔中心位置検出方法、及び、プログラム
CN110288661B (zh) 手术灯的位置调整方法、装置、计算机设备和存储介质
JP6821326B2 (ja) 情報処理装置、計測システム、情報処理方法およびプログラム
JP6020439B2 (ja) 画像処理装置、撮像装置、および画像処理プログラム
JP2009288917A (ja) 情報処理装置、情報処理方法、およびプログラム
JP2015111128A (ja) 位置姿勢計測装置、位置姿勢計測方法、およびプログラム
CN111340052A (zh) 中医舌诊舌尖红检测装置、方法及计算机存储介质
JP2012243285A (ja) 特徴点位置決定装置、特徴点位置決定方法及びプログラム
JP7024876B2 (ja) 検出装置、処理装置、検出方法、及び処理プログラム
CN110826495A (zh) 基于面部朝向的身体左右肢体一致性跟踪判别方法及系统
KR101785661B1 (ko) 회색 값 분산을 이용한 얼굴 윤곽 인식방법 및 그 장치
Rodzik et al. Recognition of the human fatigue based on the ICAAM algorithm

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140922

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20141022

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20141030

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20141205

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150818

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150826

R151 Written notification of patent or utility model registration

Ref document number: 5801237

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151