JP6525635B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

画像処理装置、画像処理方法及びプログラム Download PDF

Info

Publication number
JP6525635B2
JP6525635B2 JP2015035751A JP2015035751A JP6525635B2 JP 6525635 B2 JP6525635 B2 JP 6525635B2 JP 2015035751 A JP2015035751 A JP 2015035751A JP 2015035751 A JP2015035751 A JP 2015035751A JP 6525635 B2 JP6525635 B2 JP 6525635B2
Authority
JP
Japan
Prior art keywords
person
attention
imaging
image
estimated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015035751A
Other languages
English (en)
Other versions
JP2016157336A (ja
Inventor
大輔 西野
大輔 西野
矢野 光太郎
光太郎 矢野
雄司 金田
雄司 金田
内山 寛之
寛之 内山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2015035751A priority Critical patent/JP6525635B2/ja
Priority to US15/050,725 priority patent/US10140726B2/en
Publication of JP2016157336A publication Critical patent/JP2016157336A/ja
Application granted granted Critical
Publication of JP6525635B2 publication Critical patent/JP6525635B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/19Sensors therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関する。
カメラを使って人物の注目位置を推定する技術として、特許文献1が挙げられる。特許文献1の方法では、カメラから得られた画像から人物の視線方向を推定し、事前に登録した対象物との位置関係によって注目度を分析している。
特開2007−286995号公報
従来の方法は、推定した人物の視線方向から対象物を推定する際、人物の空間位置を推定せずに一定の場所にいることを前提としており、人物が当該箇所から動いた場合の推定精度が低下してしまう課題があった。
本発明は、人物が動いた場合にも高い精度で人物の視線方向を推定可能な技術を提供することを目的とする。
そこで、本発明の画像処理装置は、複数の撮像手段により撮像された複数の画像から人物の画像上の位置を検出する検出手段と、前記検出手段により検出された前記人物の画像上の位置と、前記複数の撮像手段の撮像情報と、に基づいて、前記人物の空間上の位置を推定する空間位置推定手段と、前記複数の画像に基づいて、前記検出手段で検出された前記人物の位置からの前記人物の視線方向を推定する方向推定手段と、前記空間位置推定手段により推定された前記人物の空間上の位置と、前記方向推定手段により推定された前記視線方向と、前記複数の撮像手段の撮像情報と、に基づいて、前記人物が注目する注目位置の空間分布を推定する注目位置推定手段と、前記注目位置推定手段により推定された前記注目位置の空間分布に基づいて、注目物体ごとの注目度を推定する注目物体推定手段と、を有する。
本発明によれば、人物が動いた場合にも高い精度で人物の視線方向を推定可能な技術を提供することができる。
画像解析装置のハードウェア構成を示す図である。 画像解析装置の機能構成等を示す図である。 画像解析装置の情報処理を示すフローチャートである。 カメラ間の物体対応付けについて説明する図である。 3次元の位置推定について説明する図である。 視線方向を仰角と偏角とで表す方法を説明する図である。 3次元空間におけるある人物の注目位置分布を示す図である。 注目位置の空間分布を計測する方法を示す図である。 注目位置の空間分布と注目対象物体とを照合し物体の注目度を推定する方法を示す図である。
以下、本発明の実施形態について図面に基づいて説明する。
<実施形態1>
以下では、画像から人体の位置を検出し、検出した人体から視線方向を推定し、それに基づき注目位置の分布を推定する例について説明する。
図1は、画像解析装置のハードウェア構成の一例を示す図である。画像解析装置は、ハードウェア構成として、CPU301、RAM302、ROM303、二次記憶装置304、複数のカメラ305−1〜305−n、接続バス306を有する。
CPU301は、RAM302やROM303に格納されたプログラムを実行することにより、画像解析装置全体の制御を行う。
RAM302は、揮発性メモリであり、画像データやプログラム及びその実行結果等の一時的なデータを記憶する。
ROM303は、不揮発性メモリであり、プログラムや各種パラメータデータを記憶する。CPU301がROM303又は二次記憶装置304のプログラムに基づき処理を実行することにより、画像解析装置の機能及び後述するフローチャートの処理が実現される。
二次記憶装置304は、ハードディスクやフラッシュメモリ等の書き換え可能な二次記憶装置であり、画像解析装置の処理結果や、画像解析装置のログデータ等を記憶する。
カメラ305−1〜305−nは、撮像装置と撮像した画像を保存するストレージ、及び画像を外部へ出力する通信装置から構成される一般的なカメラである。カメラ305−1〜305−nは、図2の撮像部101−1〜101−nに相当する。本実施形態では接続されるカメラの台数n=3の場合を示したが、これに限るものではない。
接続バス306は、ハードウェアを接続して相互にデータの入出力を行う。
本実施形態では後述する処理をCPU301がプログラムに基づき実現することとするが、その処理の一部又は全部をCPUとは異なる手段で実現するようにしてもよい。例えば、CPUの代わりに専用回路(ASIC)や各種プロセッサー(リコンフィギュラブルプロセッサ、DSP、GPU)等を用いることができる。
画像解析装置は、画像処理装置の一例である。
図2は、画像解析装置の機能構成等の一例を示す図である。
撮像部101−1〜nは、それぞれカメラを表す。nはカメラの数で、少なくとも2個以上からなる。各カメラで撮影した画像は画像記憶部102に記憶される。キャリブレーション部103は、各撮像部101−1〜nのキャリブレーションを行う。キャリブレーション部103は、キャリブレーションによって取得した撮像情報を撮像情報記憶部104に格納する。人体検出部105は、撮像部101−1〜nによって得られたそれぞれの画像から人体の画像上の位置を検出する。人物空間位置推定部106は、複数の画像から検出された人体が同一人物であるかどうかの対応付けを行い、各対応付けについて人物の空間位置を推定する。人物視線方向推定部107は、各人体画像から人物の視線方向を推定する。整合性判定部108は、人物の空間位置の推定結果と人物の視線方向の推定結果に基づき、人物の対応付けの整合性を判定して、人物の対応付けを決定する。注目位置推定部109は、対応づいた人物の空間位置と視線方向とから、注目位置の空間分布を推定する。注目位置記憶部110には、推定した注目位置の空間分布が格納される。注目物体推定部111は、注目位置の空間分布から、注目物体ごとの注目度を推定する。
図3は、画像解析装置の情報処理の一例を示すフローチャートである。
ステップS201において、キャリブレーション部103は、撮像部101のキャリブレーションを行う。キャリブレーション部103は、画像記憶部102に記憶された各カメラの画像を用い、各カメラの内部パラメータ及び外部パラメータを推定する。カメラの内部パラメータと外部パラメータとがわかれば、キャリブレーション部103は、次の式で絶対座標を2次元カメラ座標に変換することができる。
m=A[R t]M (式1)
M=[X Y Z 1]Tは3次元の絶対座標である。m=[x y 1]Tは2次元の画像座標である。
Aは3×3行列で表される内部パラメータでカメラの画像座標系における中心位置、倍率、画像の2軸の歪みを表す。Rは、夫々カメラの姿勢を表す3×3直交行列である。tは、カメラの位置を表す3×1行列である。
内部パラメータA及び外部パラメータR,tは、参考文献1の方法で求めることができる。
(参考文献1)Zhengyou Zhang「A Flexible New Technique for Camera Calibration」,IEEE Transactions on Pattern Analysis and Machine Intelligence, 22(11):1330−1334, 2000
簡単にその方法を説明する。まず、画像解析装置は、空間に配置されているキャリブレーションボード(平面板)を撮影する。キャリブレーションボードにはチェスボードのような格子模様が描かれており、格子点の位置と間隔とは既知である。画像解析装置は、カメラで複数回、位置が変えられたキャリブレーションボードを撮影し、得られた画像から格子点の画像座標mを抽出し、絶対座標Mと画像座標mの対応をとることによって、まず内部パラメータAを推定する。本実施形態のようにカメラが複数ある場合、画像解析装置は、カメラの台数分、前記推定を繰返し、各カメラについて内部パラメータを推定する。次に、画像解析装置は、複数のカメラで同時にキャリブレーションボードを撮影し、先に推定した内部パラメータを用いて絶対座標Mと各カメラの画像座標mの対応を取ることによって各カメラの外部パラメータR,tを推定する。
以上のキャリブレーションによって、各カメラの内部パラメータA、外部パラメータR,tの情報は、撮像情報記憶部104に記憶される。
本実施形態では、画像解析装置は、キャリブレーションボードを使ってキャリブレーションを行う方法を説明した。しかし、画像解析装置は、参考文献2のように、画像中の特徴点を抽出し、それら特徴点の画像間の対応付けを行う方法によってキャリブレーションを行ってもよい。
(参考文献2)Pierre Moulon, Pascal Monasse, and Renaud Marlet「Adaptive structure from motion with a contrario model estimation」ACCV2012
次に、ステップS202において、撮像部101の各カメラは、シーンを撮影し、撮影した画像を画像記憶部102に記憶する。
ステップS203において、人体検出部105は、ステップS202で撮影された各画像から人体を検出し、その位置情報を抽出する。人体検出部105は、人体位置を、参考文献3に記載された方法で抽出する。
(参考文献3)N.Dalal, et al.,[Histograms of oriented gradients for human detection]
まず、人体検出部105は、撮影された画像を格子状のブロックに分割し、各ブロックにおいてHOG特徴量を算出する。次に、人体検出部105は、複数のブロックからなる検出窓を考え、検出窓に含まれる各ブロックのHOG特徴量を連結して新たな特徴量とする。人体検出部105は、この特徴量を、予め機械学習したSVM識別器に入力し、検出窓に人体が含まれるか否かを判定する。SVM識別器により人体と判定された場合、人体検出部105は、検出窓の矩形によって決まる人物領域を出力する。人物領域は、例えば、画像座標系における左上の座標(x、y)及び幅・高さ(w、h)の組み合わせで表される。画像に複数の人物が存在した場合、人体検出部105は、それぞれの人物について人物領域を出力する。
本実施形態ではHOG特徴量とSVM識別器とによって人体を検出する方法を説明したが、人物を検出することができればどのような方法であってもよい。人体ではなく、顔や顔器官を検出してもよい。
ステップS204において、人物空間位置推定部106は、ステップS203で検出された人物を画像間で対応付ける。即ち、人物空間位置推定部106は、ある画像で検出された人物が、他の画像のどの人物に対応するかを探索する。
人物空間位置推定部106は、人物の画像間の対応付けを、人物の代表座標点(画像座標系)をエピポーラ幾何によって対応付けることによって行う。代表座標点とは、例えば顔の中央の位置である。図4のカメラ画像1の人体Aの代表点は、カメラ画像2ではエピポーラ線と呼ばれる直線で表わされる。カメラ1とカメラ2とのカメラ基礎行列Fは、2つのカメラの位置関係を表すもので、次のように定義される。
2 TFm1=0 (式2)
1、m2は、カメラ1とカメラ2上の対応する人物の、各画像座標系上の代表点座標である。
人物空間位置推定部106は、カメラ基礎行列Fを、カメラ1、カメラ2それぞれの内部パラメータA、外部パラメータR,tから、参考文献4の方法で算出することができる。
(参考文献4)Richard Hartley and Andrew Zisserman, 「Multiple View Geometry in Computer Vision 2nd edition」, Cambridge University Press
1をカメラ1上で検出した人体の代表点座標とすれば、m1に対応するカメラ2上の人体の代表点座標m2は、ノイズがなければ次のようなエピポーラ線l上に存在する。
l=Fm1 (式3)
実際にはさまざまなノイズの影響があるため、m2がm1と対応した点であったとしても、m2は必ずしもエピポーラ線l上に存在するわけではない。そこで、人物空間位置推定部106は、カメラ2で検出された人体の代表点座標m2とエピポーラ線lとの間の距離を(式2)の左辺に基づいて計算し、計算した値が一定値以下の人体を対応する人体とする。例えば、図4において、カメラ画像1の人体Aに対応するものは、カメラ2画像上では人体BとCとである。ある人体に対応する他のカメラの人体は、1つのカメラにつき1つでなければならない。そのため、人物空間位置推定部106は、それを満たすように対応付く人体の組の組み合わせを求める。その結果、図4のカメラ画像1の人体Aに対応付く人体の組として、{A,B}と{A,C}が生成される。
ステップS205において、人物空間位置推定部106は、ステップS204で抽出した人物の対応付けの組について人物の空間位置を推定する。まず、人物空間位置推定部106は、図5のように、各カメラ画像に対し、カメラ中心と人体領域の代表点とを通る3次元空間中の直線を求める。人物空間位置推定部106は、直線を、カメラの内部パラメータ・外部パラメータ及び代表点の画像座標より求める。次に、人物空間位置推定部106は、各カメラの直線の交点を求め、これを人体の3次元位置とする。直線の推定誤差により、実際にはこれらの直線が1点で交わらない場合がある。この場合、人物空間位置推定部106は、各直線からの距離の和が最小になる点を交点の代わりに採用する。
ステップS206において、人物視線方向推定部107は、各画像で検出された各人物について、人物の視線方向をカメラ座標系上で推定する。まず、人物視線方向推定部107は、検出された人体について、画像から人体の矩形を切り出すことで、人体画像を抽出する。人物視線方向推定部107は、この人体画像の幅・高さを正規化して一定の形状の矩形に変換し、その画像を特徴量として回帰推定器に入力する。回帰推定器は、予め人物の視線方向(カメラからの相対座標)を2次元量(例えば図6のような偏角θ・仰角φ)として出力するよう機械学習したもので、例えばニューラルネットを用いることができる。これにより、人物の視線方向をカメラ座標系上で得ることができる。
本実施形態では人体画像から回帰推定器によって視線を推定する方法を説明したが、他の方法で推定するようにしてもよい。
例えば、人物視線方向推定部107は、人体画像から顔を検出して複数の顔器官の位置を検出し、それらを回帰推定器への入力として顔の向きを算出するようにしてもよい。
また、人物視線方向推定部107は、例えば、特許文献1にあるように、瞳の位置を検出し、その座標から幾何学的演算によって視線を推定してもよい。
人体全体の向きよりも顔や瞳のようなより詳細な部分画像から推定する方が高精度に向きを推定できる。一方、詳細部分の画像を推定するには高解像度の画像が必要になる。
また、人物視線方向推定部107は、以上の視線推定方法を複数併用してもよい。
ステップS207において、人物視線方向推定部107は、ステップS206で抽出した人物の視線方向(カメラ座標系)を絶対座標系に変換する。人物視線方向推定部107は、人物の視線方向を求めたカメラの内部パラメータA及び外部パラメータR,tを用いて絶対座標系上の視線方向に変換する。
ステップS208において、整合性判定部108は、ステップS205で求められた人物の対応付けごとの人物の空間位置と、ステップS207で求められた撮像された人物画像ごとの人物の視線方向とから、対応付けの整合性を算出する。
ここでは、撮像部101−1と撮像部101−2とで検出された人物が同一であることを表す整合性を算出する。整合性は、人物の空間位置の整合性Rpと、人物の視線方向の整合性Rdとに分けられる。
まずRpの算出方法について説明する。整合性判定部108は、対応付けられた2つのカメラそれぞれについて、ステップS203で検出された人物領域の高さを、それぞれのカメラの内部パラメータ、外部パラメータを用いてステップS205で算出された人物の空間位置に投影する。そして、整合性判定部108は、3次元空間上の人物の高さを推定する。カメラ1及びカメラ2で得られた3次元空間上の人物の高さをそれぞれh1、h2とする。整合性判定部108は、Rpをこれらによって次のように算出する。
整合性判定部108は、人物の視線方向の整合性Rdを、対応付けられた各人物の視線方向が一致している度合いによって算出する。本実施形態では、整合性判定部108は、各画像で推定された人物の視線方向のなす角度の余弦を整合性として用いる。ステップS207で算出されたカメラ1及びカメラ2の絶対座標系での視線方向をそれぞれd1、d2とすると、Rdは次のような式で表される。
d=d1・d2 (式5)
整合性判定部108は、最終的な整合性RをRpとRdの重み付き和によって算出する。
R=wpp+wdd (式6)
重みwp及びwdは予め定められた値が用いられる。
本実施形態では、整合性判定部108は、推定された人物の空間位置と視線方向とから整合性を算出したが、人物の服の色や、顔の類似度等といった特徴や、検出された人物領域の大きさ等を用いて算出することもできる。
ステップS209において、整合性判定部108は、ステップS208で算出した対応付けの整合性を、事前に定めた閾値と比較し、整合性が低い対応付けについては、同一人物の可能性が低いと判断して処理対象から除外する。整合性判定部108は、整合性が閾値を上回った対応付けについては同一人物であると判断する。
整合性判定部108は、カメラの対応付けが決定した人物の視線方向を、ステップS205で求められた人物の空間位置と、ステップS207で求められた各カメラで推定した視線方向と、から決定する。例えば、整合性判定部108は、視線方向が最も正面向きに近いカメラを選択し、そのカメラの推定した視線方向を選択する。また、整合性判定部108は、視線方向の推定を人体、顔、瞳等の複数の方法で行うようにしてもよい。このようにした場合、より精度の向上を期待できる。即ち、整合性判定部108は、より詳細な部分に基づいて推定した結果を用いるようにしてもよい。
ステップS210において、注目位置推定部109は、画像間で対応付けられた各人物について、人物が注目する位置を推定する。
ある人物に対して、人物の空間位置を頂点とし、人物の視線方向を中心線とするような、無限に延びる円錐を考える(図7)。人物が注目する対象は、この円錐の中に存在すると推定できる。注目位置推定部109は、円錐の頂角θtには予め定められた値を用いる。
注目位置情報は、空間を微小な立方格子に分割し、各格子の注目度を考えることで表現することができる。図8は簡単のために空間を2次元に投影し、格子と円錐との位置関係を示した図である。注目位置推定部109は、すべての格子を0のスコアで初期化しておく。網掛けで示した格子は円錐に交差する格子であり、人物の注目物体はこの領域の何れかに存在すると推定することができる。そこで、注目位置推定部109は、円錐に交差する格子にそれぞれ1のスコアを加算する。これにより、この人物による空間上の注目位置分布を表現することができる。注目位置推定部109は、この操作を各人物について行うことで、このシーンにおける注目人物数の空間分布を推定することができる。
図8では説明の簡略化のため、空間を2次元で示したが、注目位置推定部109は、実際には3次元空間上で処理を行う。
本実施形態では、注目位置推定部109は、円錐に交差する格子に等しく1のスコアを与える方法を説明した。この方法では、シーンにおける注目人物数の空間分布を計測することができる。一方、注目位置推定部109は、スコアに対して、円錐の中心線からの距離、人物からの距離等の幾何学的特徴や、人物の対応付け整合性等に基づいて重みを付与してもよい。
また、本実施形態では空間を立方格子で分割する方法を説明したが、3次元空間を過不足なく充填するような分割方法であればどのような方法でもよい。
ステップS211において、注目位置推定部109は、ステップS210で求めた注目位置分布を注目位置記憶部110に記憶する。
ステップS212において、注目物体推定部111は、注目対象物体の空間情報を利用することができる場合に、注目位置記憶部110に記憶された注目位置分布に基づき、注目対象物体ごとの注目度を推定する。
ここでは、注目対象物体の座標情報として、幅・高さ・奥行・姿勢で表される直方体を考える。図9は、説明の簡略化のため注目位置分布と直方体とを2次元空間に投影して示した図である。図9では直方体を長方形で表している。注目物体推定部111は、この物体の注目度を推定するためには、この長方形に含まれる格子のうち、ステップS210で求められた注目位置分布の最大値を計算すればよい。
本実施形態では注目対象物体の幾何形状として直方体を仮定したが、3次元空間で表現可能な形状であればどのような形状でもよい。
ステップS213において、画像解析装置は、処理を継続するか否かを判定する。画像解析装置は、処理を継続すると判定すると、ステップS202に処理を戻し、処理を継続しないと判定すると、図3に示すフローチャートの処理を終了する。
以上の実施形態の処理によれば、ステップS210で人物の注目する位置を推定する際に、ステップS205で求めた人物の空間位置を利用することにより、人物の位置が動いた場合にも精度よい推定が可能になる。また、本実施形態では夫々の人物に対して複数のカメラから向きを推定し、より高精度な推定結果を用いるようにしているので高精度の推定結果が期待できる。
<その他の実施形態>
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給する。そして、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
以上、上述した各実施形態によれば、人物が動いた場合にも高い精度で人物の視線方向を推定可能な技術を提供することができる。
301 CPU、302 RAM、303 ROM、304 二次記憶装置

Claims (8)

  1. 複数の撮像手段により撮像された複数の画像から人物の画像上の位置を検出する検出手段と、
    前記検出手段により検出された前記人物の画像上の位置と、前記複数の撮像手段の撮像情報と、に基づいて、前記人物の空間上の位置を推定する空間位置推定手段と、
    前記複数の画像に基づいて、前記検出手段で検出された前記人物の位置からの前記人物の視線方向を推定する方向推定手段と、
    前記空間位置推定手段により推定された前記人物の空間上の位置と、前記方向推定手段により推定された前記視線方向と、前記複数の撮像手段の撮像情報と、に基づいて、前記人物が注目する注目位置の空間分布を推定する注目位置推定手段と、
    前記注目位置推定手段により推定された前記注目位置の空間分布に基づいて、注目物体ごとの注目度を推定する注目物体推定手段と、
    を有する画像処理装置。
  2. 前記複数の撮像手段の撮像情報をそれぞれの撮像手段より取得する取得手段を更に有し、
    前記空間位置推定手段は、前記人物の画像上の位置と、前記取得手段により取得された前記複数の撮像手段の撮像情報と、に基づいて、前記人物の空間上の位置を推定し、
    前記注目位置推定手段は、前記空間位置推定手段により推定された前記人物の空間上の位置と、前記方向推定手段により推定された前記視線方向と、前記取得手段により取得された前記複数の撮像手段の撮像情報と、に基づいて、前記人物が注目する注目位置の空間分布を推定する請求項記載の画像処理装置。
  3. 前記取得手段は、前記複数の撮像手段により撮像された複数の画像から算出した前記複数の撮像手段の内部パラメータと外部パラメータとを前記撮像情報として取得する請求項記載の画像処理装置。
  4. 前記内部パラメータとは、撮像手段の画像座標系における中心位置、倍率、画像の2軸の歪みを示す情報であり、
    前記外部パラメータとは、撮像手段の位置、姿勢を示す情報である請求項記載の画像処理装置。
  5. 前記方向推定手段は、前記複数の画像中の人体、顔、目の少なくとも1つの部分画像に基づいて、前記検出手段で検出された前記人物の位置からの前記人物の視線方向を推定する請求項1乃至何れか1項記載の画像処理装置。
  6. 前記空間位置推定手段は、前記検出手段により検出された前記人物を複数の画像間で対応付け、前記人物の画像上の位置と、前記複数の撮像手段の撮像情報と、に基づいて、前記人物の空間上の位置を推定し、
    前記空間位置推定手段により推定された前記人物の空間上の位置と、前記方向推定手段により推定された前記視線方向と、前記複数の撮像手段の撮像情報と、に基づいて、前記空間位置推定手段での前記対応付けが正しいか否かを判定する判定手段を更に有し、
    前記注目位置推定手段は、前記判定手段により前記対応付けが正しいと判定された人物の前記空間位置推定手段により推定された空間上の位置と、前記方向推定手段により推定された前記視線方向と、前記複数の撮像手段の撮像情報と、に基づいて、前記人物が注目する注目位置の空間分布を推定する請求項1乃至何れか1項記載の画像処理装置。
  7. 画像処理装置が実行する画像処理方法であって、
    複数の撮像ステップにより撮像された複数の画像から人物の画像上の位置を検出する検出ステップと、
    前記検出ステップにより検出された前記人物の画像上の位置と、前記複数の撮像ステップの撮像情報と、に基づいて、前記人物の空間上の位置を推定する空間位置推定ステップと、
    前記複数の画像に基づいて、前記検出ステップで検出された前記人物の位置からの前記人物の視線方向を推定する方向推定ステップと、
    前記空間位置推定ステップにより推定された前記人物の空間上の位置と、前記方向推定ステップにより推定された前記視線方向と、前記複数の撮像ステップの撮像情報と、に基づいて、前記人物が注目する注目位置の空間分布を推定する注目位置推定ステップと、
    前記注目位置推定ステップにより推定された前記注目位置の空間分布に基づいて、注目物体ごとの注目度を推定する注目物体推定ステップと、
    を含む画像処理方法。
  8. コンピュータに、
    複数の撮像ステップにより撮像された複数の画像から人物の画像上の位置を検出する検出ステップと、
    前記検出ステップにより検出された前記人物の画像上の位置と、前記複数の撮像ステップの撮像情報と、に基づいて、前記人物の空間上の位置を推定する空間位置推定ステップと、
    前記複数の画像に基づいて、前記検出ステップで検出された前記人物の位置からの前記人物の視線方向を推定する方向推定ステップと、
    前記空間位置推定ステップにより推定された前記人物の空間上の位置と、前記方向推定ステップにより推定された前記視線方向と、前記複数の撮像ステップの撮像情報と、に基づいて、前記人物が注目する注目位置の空間分布を推定する注目位置推定ステップと、
    前記注目位置推定ステップにより推定された前記注目位置の空間分布に基づいて、注目物体ごとの注目度を推定する注目物体推定ステップと、
    を実行させるためのプログラム。
JP2015035751A 2015-02-25 2015-02-25 画像処理装置、画像処理方法及びプログラム Active JP6525635B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015035751A JP6525635B2 (ja) 2015-02-25 2015-02-25 画像処理装置、画像処理方法及びプログラム
US15/050,725 US10140726B2 (en) 2015-02-25 2016-02-23 Apparatus and method for estimating gazed position of person

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015035751A JP6525635B2 (ja) 2015-02-25 2015-02-25 画像処理装置、画像処理方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2016157336A JP2016157336A (ja) 2016-09-01
JP6525635B2 true JP6525635B2 (ja) 2019-06-05

Family

ID=56693229

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015035751A Active JP6525635B2 (ja) 2015-02-25 2015-02-25 画像処理装置、画像処理方法及びプログラム

Country Status (2)

Country Link
US (1) US10140726B2 (ja)
JP (1) JP6525635B2 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6320112B2 (ja) 2014-03-27 2018-05-09 キヤノン株式会社 情報処理装置、情報処理方法
JP6445775B2 (ja) 2014-04-01 2018-12-26 キヤノン株式会社 画像処理装置、画像処理方法
JP2016046642A (ja) * 2014-08-21 2016-04-04 キヤノン株式会社 情報処理システム、情報処理方法及びプログラム
JP6700791B2 (ja) 2016-01-05 2020-05-27 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP6792446B2 (ja) 2016-12-27 2020-11-25 キヤノン株式会社 情報処理装置、情報処理装置の制御方法及びプログラム
JP6615800B2 (ja) * 2017-01-11 2019-12-04 株式会社東芝 情報処理装置、情報処理方法およびプログラム
US10509513B2 (en) * 2017-02-07 2019-12-17 Oblong Industries, Inc. Systems and methods for user input device tracking in a spatial operating environment
JP7124281B2 (ja) * 2017-09-21 2022-08-24 株式会社リコー プログラム、情報処理装置、画像処理システム
US11042994B2 (en) * 2017-11-15 2021-06-22 Toyota Research Institute, Inc. Systems and methods for gaze tracking from arbitrary viewpoints
JP7040539B2 (ja) * 2018-02-08 2022-03-23 日本電気株式会社 視線推定装置、視線推定方法、およびプログラム
US11095814B2 (en) 2018-05-25 2021-08-17 Canon Kabushiki Kaisha Image processing apparatus and image processing method
CN109389069B (zh) 2018-09-28 2021-01-05 北京市商汤科技开发有限公司 注视点判断方法和装置、电子设备和计算机存储介质
CN111008655A (zh) * 2019-11-28 2020-04-14 上海识装信息科技有限公司 辅助鉴定实物商品品牌真伪的方法、装置和电子设备
AU2020294259B2 (en) 2020-08-01 2022-06-30 Sensetime International Pte. Ltd. Object association method, apparatus and system, electronic device, storage medium and computer program

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4720979B2 (ja) * 2005-03-28 2011-07-13 日本精機株式会社 車両用監視装置
JP4876687B2 (ja) * 2006-04-19 2012-02-15 株式会社日立製作所 注目度計測装置及び注目度計測システム
US7742623B1 (en) * 2008-08-04 2010-06-22 Videomining Corporation Method and system for estimating gaze target, gaze sequence, and gaze map from video

Also Published As

Publication number Publication date
US20160247272A1 (en) 2016-08-25
US10140726B2 (en) 2018-11-27
JP2016157336A (ja) 2016-09-01

Similar Documents

Publication Publication Date Title
JP6525635B2 (ja) 画像処理装置、画像処理方法及びプログラム
US11087169B2 (en) Image processing apparatus that identifies object and method therefor
JP6942488B2 (ja) 画像処理装置、画像処理システム、画像処理方法、及びプログラム
JP6700752B2 (ja) 位置検出装置、位置検出方法及びプログラム
KR101791590B1 (ko) 물체 자세 인식장치 및 이를 이용한 물체 자세 인식방법
JP4653606B2 (ja) 画像認識装置、方法およびプログラム
JP5035467B2 (ja) 立体性認証方法、立体性認証装置および立体性認証プログラム
JP4341564B2 (ja) 対象物判定装置
JP2019000136A (ja) 視線計測装置及びプログラム
JP6590609B2 (ja) 画像解析装置及び画像解析方法
JP2008506953A5 (ja)
JP2013089252A (ja) 映像処理方法及び装置
JP6566449B2 (ja) 球状体の回転の測定装置、測定方法、ならびに、プログラム
JP6487642B2 (ja) 手指形状の検出方法、そのプログラム、そのプログラムの記憶媒体、及び、手指の形状を検出するシステム。
US11741615B2 (en) Map segmentation method and device, motion estimation method, and device terminal
CN109740659B (zh) 一种图像匹配方法及装置、电子设备、存储介质
JP2007304801A (ja) 立体性認証方法、立体性認証装置および立体性認証プログラム
JP6166297B2 (ja) 姿勢推定装置
JP7173341B2 (ja) 人物状態検出装置、人物状態検出方法及びプログラム
US9159131B2 (en) Data matching method and data matching apparatus for matching data groups according to alignment parameters
JP7420146B2 (ja) カメラ校正装置、カメラ校正方法及びカメラ校正プログラム
JP2010231350A (ja) 人物識別装置、そのプログラム、及び、その方法
JP7197011B2 (ja) 身長推定装置、身長推定方法及びプログラム
JP6977667B2 (ja) 物体らしさ推定装置、方法、およびプログラム
JP7396364B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171219

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190122

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190325

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190409

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190507

R151 Written notification of patent or utility model registration

Ref document number: 6525635

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151