JP4214291B1 - 接地点推定装置、接地点推定方法、動線表示システムおよびサーバ - Google Patents
接地点推定装置、接地点推定方法、動線表示システムおよびサーバ Download PDFInfo
- Publication number
- JP4214291B1 JP4214291B1 JP2008080756A JP2008080756A JP4214291B1 JP 4214291 B1 JP4214291 B1 JP 4214291B1 JP 2008080756 A JP2008080756 A JP 2008080756A JP 2008080756 A JP2008080756 A JP 2008080756A JP 4214291 B1 JP4214291 B1 JP 4214291B1
- Authority
- JP
- Japan
- Prior art keywords
- point
- subject
- overlapping
- flow line
- ground
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Abstract
【解決手段】 複数のカメラ6〜8で撮影された被写体の複数の画像を記憶する記憶手段2と、被写体が接している接地面よりも所定分だけ高い位置にある仮想の補助平面を設定する設定手段3と、複数の画像の各々に含まれる各被写体同士の重複する重複領域であって補助平面における重複領域を、重複点として検出する検出手段4と、重複点に基づいて、被写体の接地面における接地点を推定する推定手段5と、を備える。
【選択図】 図1
Description
Saad M. Khan, Mubarak Shah, A Multiview Approach to Tracking People in Crowded Scenes using a Planar Homography Constraint, 9th European Conference on Computer Vision, Graz, Austria, 2006.
複数の接地点に基づいて、被写体の動線を推定する動線推定手段を更に備える。
まず、接地点推定装置の全体概要について説明する。
図1は、本発明の実施の形態1における接地点推定装置のブロック図である。
次に、図1〜4を用いて接地点推定装置の詳細について説明する。
図2は、本発明の実施の形態1における接地点推定装置の使用態様を示す模式図である。
次に、記憶手段2について図1を用いて説明する。
次に、設定手段3について、図1、図3を用いて説明する。
次に、検出手段4について、図1、図3、図4を用いて説明する。図4は、本発明の実施の形態1における重複点検出を説明する概念図である。
次に、推定手段5について、図1、図3を用いて説明する。
次に、重複点の検出および接地点の推定の詳細を説明する。
床面拘束とは、Homography行列にある制約の一つである平面拘束について、特に拘束平面を床面にとった場合のことを指す。なお、以下床面拘束について述べるが、床面拘束における床面を、補助平面にすれば補助平面に拘束を行って被写体の重複点を検出することにつながる。
点P は3 次元の実空間中の平面π上にあり、被写体の内側にあるとする。このとき視点画像において点P は、以下の2つの条件を満たす任意n の視点画像中の点p1、p2、...、pn の集合である。
φを参照視点上にある全ての画素の点とし、行列Hiは、参照視点から視点iへの平面πに対応するHomography行列とする。もし(数3)として、点pのPiercing Pointが対象物体と平面πが接する領域内に存在するとき、(数4)が成立する。ここでp’i=Hipでありφiは視点iの前景領域である。
以上のHomography行列や床面拘束の理論に基づいて、補助平面を用いた接地点推定について説明する。
(接地面での点の座標推定)
2つの視点から地面上の点の3次元空間での座標を求める。視点画像View1、View2における各カメラパラメータをP1、P2とし、各視点画像上の座標をm1(U1,V1)、m2(U2,V2)とする。また、求める接地面上の基準点の座標をM(X,Y,Z)とする。視点画像のカメラパラメータPiを(数5)のように定義する。
このようにして求めた地面上の点Mを基に基準点が求められる。この基準点が求まれば、4組の基準点が求まって重複点算出に必要なHomography行列が求まり、結果として補助平面における重複点が算出される。
次に実施の形態2について、図1、図8を用いて説明する。図8は、本発明の実施の形態2における重複点推定の説明図である。
次に実施の形態3について説明する。
次に、実施の形態4について説明する。実施の形態4では、実施の形態1〜4で説明した接地点推定および動線推定を行う動線表示システムおよびサーバについて説明する。
次に実施の形態5について説明する。
まず、各視点でCamera Calibration Toolbox For Matlabを用いてキャリブレーションを行う。内部パラメータは、図15(a)に示される19枚の平面パターンの写った画像を用いる。外部パラメータは、図15(b)に示される接地面上に描かれたパターンを用いて行う。
補助平面を用いた接地点推定を行うために、補助平面のHomography行列を生成する。まず、カメラキャリブレーションによって得られたカメラパラメータを用いて、3次元空間における接地上の点と基準点を求めた。この結果を図16(a)に示す。図16は、本発明の実施の形態5における接地面上の点と基準点を示す模式図である。
各カメラの視点画像について背景差分を行い、視点画像での対象物体の前景領域を得る。その結果は、図17に示される。図17は、本発明の実施の形態5における各カメラの視点画像の背景差分の結果を示す模式図である。
求めた基準点を基にHomography行列を求め、実際に接地点推定を行った。また、同じ環境下で地面のHomography行列での接地点推定も行った。それぞれの結果を図18に示す。なお、結果を比較しやすくするために、実験環境を真上から見た状態に変換している。
2 記憶手段
3 設定手段
4 検出手段
5 推定手段
6、7、8 カメラ
50 動線推定手段
Claims (14)
- 複数のカメラで撮影された被写体の複数の画像を記憶する記憶手段と、
前記被写体が接している接地面よりも所定分だけ高い位置にある仮想の補助平面を設定する設定手段と、
前記複数の画像間で前記補助平面に対応するHomography行列を求め、前記複数の画像の各々に含まれる各被写体同士の重複する重複領域であって前記補助平面における重複領域を、該Homography行列を用いて、重複点として検出する検出手段と、
前記重複点に基づいて、前記被写体の前記接地面における接地点を推定する推定手段と、を備え、
前記複数の画像は、前記被写体に対して異なる角度から撮影されている、接地点推定装置。 - 前記検出手段は、前記重複領域の面積が所定値以下および前記重複領域の色味が所定以上の少なくとも一方の場合に、前記重複領域を前記重複点として検出する請求項1記載の接地点推定装置。
- 前記検出手段は、被写体の種類に応じた判定テーブルを有し、前記重複領域の面積および色味の少なくとも一方と前記判定テーブルとの比較に基づいて、前記重複領域を前記重複点として検出する請求項2記載の接地点推定装置。
- 前記補助平面は、被写体の腰から胸にかけての高さを、前記接地面に対して有している請求項1から3のいずれか記載の接地点推定装置。
- 前記設定手段は、前記被写体の状況に応じて、前記補助平面の高さおよび角度の少なくとも一方を変更する請求項1から3のいずれか記載の接地点推定装置。
- 前記検出手段は、前記補助平面における前記被写体の第1重複点および前記接地面における前記被写体の第2重複点のそれぞれを検出し、
前記推定手段は、前記第1重複点および前記第2重複点のいずれかを選択する請求項1から5のいずれか記載の接地点推定装置。 - 前記推定手段は、所定時間間隔毎に前記接地点を推定して複数の接地点を出力し、
前記複数の接地点に基づいて、前記被写体の動線を推定する動線推定手段を更に備える請求項1から6のいずれか記載の接地点推定装置。 - 前記動線推定手段は、前記複数の接地点同士の重なりにより、前記動線を推定する請求項7記載の接地点推定装置。
- 前記複数の接地点の内、隣接する接地点同士が重なっていない欠落部分がある場合には、前記動線推定手段は、隣接する接地点の座標に基づいて、前記欠落部分を補間推定する請求項8記載の接地点推定装置。
- 前記動線を表示する表示部を更に備える請求項7から9のいずれか記載の接地点推定装置。
- 複数のカメラで撮影された被写体の複数の画像を記憶するステップと、
前記被写体が接している接地面よりも所定分だけ高い位置にある仮想の補助平面を設定するステップと、
前記複数の画像間で前記補助平面に対応するHomography行列を求め、前記複数の画像の各々に含まれる各被写体同士の重複する重複領域であって前記補助平面における重複領域を、該Homography行列を用いて、重複点として検出するステップと、
前記重複点に基づいて、前記被写体の前記接地面における接地点を推定するステップと、を備え、
前記複数の画像は、前記被写体に対して異なる角度から撮影されている、接地点推定方法。 - 被写体を異なる角度から撮影する複数のカメラと、
前記複数のカメラが撮影した被写体の複数の画像から、前記被写体の動線を表示する動線表示装置を備え、
前記動線表示装置は、
前記複数のカメラが撮影した前記被写体の複数の画像を記憶する記憶手段と、
前記複数の画像間で前記補助平面に対応するHomography行列を求め、前記複数の画像の各々に含まれる各被写体同士の重複する重複領域であって前記補助平面における重複領域を、該Homography行列を用いて、重複点として検出する検出手段と、
前記重複点に基づいて、前記被写体の前記接地面における接地点を推定する推定手段と、
前記複数の接地点に基づいて、前記被写体の動線を推定する動線推定手段と、
前記動線を表示する表示部を備え、
前記複数の画像は、前記被写体に対して異なる角度から撮影されている、動線表示システム。 - 前記検出手段、前記推定手段および前記動線推定手段の少なくとも一つの結果に基づいて、前記複数のカメラの少なくとも一部のカメラの撮影角度を切り替える切り替え手段を更に備える請求項12記載の動線表示システム。
- 複数のカメラが撮影した被写体についての複数の画像を処理するサーバであって、
前記サーバは、前記複数の画像を記憶し、
前記被写体が接している接地面よりも所定分だけ高い位置にある仮想の補助平面を設定し、
前記複数の画像間で前記補助平面に対応するHomography行列を求め、前記複数の画像の各々に含まれる各被写体同士の重複する重複領域であって、前記補助平面における重複領域を、該Homography行列を用いて、重複点として検出し、
所定時間間隔毎に、前記重複点に基づいて、前記被写体の前記接地面における接地点を推定して複数の接地点を出力し、
前記複数の画像は、前記被写体に対して異なる角度から撮影されており、
前記複数の接地点に基づいて、前記被写体の動線を推定するサーバ。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008080756A JP4214291B1 (ja) | 2008-03-26 | 2008-03-26 | 接地点推定装置、接地点推定方法、動線表示システムおよびサーバ |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008080756A JP4214291B1 (ja) | 2008-03-26 | 2008-03-26 | 接地点推定装置、接地点推定方法、動線表示システムおよびサーバ |
Publications (2)
Publication Number | Publication Date |
---|---|
JP4214291B1 true JP4214291B1 (ja) | 2009-01-28 |
JP2009236569A JP2009236569A (ja) | 2009-10-15 |
Family
ID=40361317
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008080756A Expired - Fee Related JP4214291B1 (ja) | 2008-03-26 | 2008-03-26 | 接地点推定装置、接地点推定方法、動線表示システムおよびサーバ |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4214291B1 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6090786B2 (ja) * | 2013-05-09 | 2017-03-08 | 国立大学法人 東京大学 | 背景差分抽出装置及び背景差分抽出方法 |
JP6650677B2 (ja) * | 2015-02-26 | 2020-02-19 | キヤノン株式会社 | 映像処理装置、映像処理方法、およびプログラム |
US10417743B2 (en) | 2015-11-06 | 2019-09-17 | Mitsubishi Electric Corporation | Image processing device, image processing method and computer readable medium |
JP6555755B2 (ja) * | 2016-02-29 | 2019-08-07 | Kddi株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
JP6857032B2 (ja) * | 2017-01-05 | 2021-04-14 | キヤノン株式会社 | 制御装置、システム、制御装置の制御方法 |
WO2023190075A1 (ja) * | 2022-03-29 | 2023-10-05 | 京セラ株式会社 | 観察装置及び観察方法 |
WO2023190076A1 (ja) * | 2022-03-29 | 2023-10-05 | 京セラ株式会社 | 端末装置及び端末装置の動作方法 |
JP7433504B1 (ja) | 2023-06-13 | 2024-02-19 | 株式会社サイバーエージェント | 判定装置、判定方法及びコンピュータープログラム |
-
2008
- 2008-03-26 JP JP2008080756A patent/JP4214291B1/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2009236569A (ja) | 2009-10-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4214291B1 (ja) | 接地点推定装置、接地点推定方法、動線表示システムおよびサーバ | |
JP6525453B2 (ja) | オブジェクト位置推定システム、及びそのプログラム | |
JP7003628B2 (ja) | 物体追跡プログラム、物体追跡装置、及び物体追跡方法 | |
US8805007B2 (en) | Integrated background and foreground tracking | |
JP2020025320A (ja) | 映像提示装置、映像提示方法、およびプログラム | |
JP6009502B2 (ja) | 情報処理装置および情報処理方法 | |
US20070268369A1 (en) | Automatic Imaging Method and Apparatus | |
US20070098250A1 (en) | Man-machine interface based on 3-D positions of the human body | |
KR20180092495A (ko) | 다중 카메라 영상 내 관심 객체 중심의 베스트 뷰 영상 생성 장치 및 방법 | |
WO2010087729A1 (en) | Systems and methods for simulating three-dimensional virtual interactions from two-dimensional camera images | |
CN107240120B (zh) | 视频中运动目标的跟踪方法及装置 | |
US10564250B2 (en) | Device and method for measuring flight data of flying objects using high speed video camera and computer readable recording medium having program for performing the same | |
GB2477793A (en) | A method of creating a stereoscopic image in a client device | |
TWI551137B (zh) | 視域顯示系統、視域顯示方法及記錄有視域顯示程式之電腦可讀取記錄媒體 | |
JP2011189066A (ja) | ゲーム装置、ゲーム装置の制御方法、及びプログラム | |
US11776213B2 (en) | Pose generation apparatus, generation method, and storage medium | |
JP2010087569A (ja) | 姿見装置 | |
US11798233B2 (en) | Generation device, generation method and storage medium for three-dimensional model that remove a portion of the three-dimensional model | |
KR20180123302A (ko) | 볼의 궤적을 시각화하는 방법 및 장치 | |
JP3631266B2 (ja) | 移動物体の計測装置 | |
JP2024032826A (ja) | 情報処理装置、情報処理方法、及びプログラム | |
KR101188286B1 (ko) | 골프 시뮬레이션 시스템 및 그 제어방법 | |
WO2021160476A1 (en) | A camera system with multiple cameras | |
JP2004030408A (ja) | 三次元画像表示装置及び表示方法 | |
CN103606174B (zh) | 一种在足球场地画面上叠加虚拟图形的操作方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081001 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081017 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4214291 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111114 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111114 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121114 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121114 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131114 Year of fee payment: 5 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313114 Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |