JP3411889B2 - カメラの自動校正方法 - Google Patents
カメラの自動校正方法Info
- Publication number
- JP3411889B2 JP3411889B2 JP2000192387A JP2000192387A JP3411889B2 JP 3411889 B2 JP3411889 B2 JP 3411889B2 JP 2000192387 A JP2000192387 A JP 2000192387A JP 2000192387 A JP2000192387 A JP 2000192387A JP 3411889 B2 JP3411889 B2 JP 3411889B2
- Authority
- JP
- Japan
- Prior art keywords
- camera
- observation
- equation
- uncalibrated
- calibrated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】この発明は、カメラの自動校
正方法に関する。
正方法に関する。
【０００２】
【従来の技術】従来から画像を用いた人物追跡について
は多くの提案がなされている。これには画像を用いるこ
とで非装着、非接触の検出が可能になり、ユーザへの負
担が軽減する、応用範囲が広がる等の理由が考えられ
る。従来提案された画像による人物追跡システムの多く
は、文献１、２、３、４に示すように、単眼または２眼
画像によるものであったが、限られた視点数ではオクル
ージョンに対応できない、検出エリアが狭い、十分な精
度が得られないといった問題点があった。
は多くの提案がなされている。これには画像を用いるこ
とで非装着、非接触の検出が可能になり、ユーザへの負
担が軽減する、応用範囲が広がる等の理由が考えられ
る。従来提案された画像による人物追跡システムの多く
は、文献１、２、３、４に示すように、単眼または２眼
画像によるものであったが、限られた視点数ではオクル
ージョンに対応できない、検出エリアが狭い、十分な精
度が得られないといった問題点があった。
【０００３】文献１：D. M. Gavrila and L. S. Davis.
3-d model-based tracking of humans in action: a m
ulti-view approach. In Proc. of CVPR '96,pp. 73-8
0, 1996.
3-d model-based tracking of humans in action: a m
ulti-view approach. In Proc. of CVPR '96,pp. 73-8
0, 1996.
【０００４】文献２：A. Azarbayejani and A. Pentlan
d. Real-time self-calibrating stereo person tracki
ng using 3-d shape estimation from blob features.
In Proc. of ICPR '96,pp. 627-632, 1996.
d. Real-time self-calibrating stereo person tracki
ng using 3-d shape estimation from blob features.
In Proc. of ICPR '96,pp. 627-632, 1996.
【０００５】文献３：C. Wren, A. Azarbayejani, T. D
arrell, and A. Pentland. P finder: Real-time track
ing of the human body. In SPIE proceeding vol.261
5, pp. 89-98, 1996.
arrell, and A. Pentland. P finder: Real-time track
ing of the human body. In SPIE proceeding vol.261
5, pp. 89-98, 1996.
【０００６】文献４：M. Patrick Johnson, P. Mase,an
d T. Darrell. Evolving visual routines. In Proc. o
f Artificial Life IV,pp. 198-209, 1994.
d T. Darrell. Evolving visual routines. In Proc. o
f Artificial Life IV,pp. 198-209, 1994.
【０００７】これに対し、多視点画像を利用した人物追
跡システムは、オクルージョンの発生を低減し、より安
定した検出が可能になると期待され、文献５、６、７に
示すように、いくつかの提案が行われている。
跡システムは、オクルージョンの発生を低減し、より安
定した検出が可能になると期待され、文献５、６、７に
示すように、いくつかの提案が行われている。
【０００８】文献５：Jakub Segen and Sarma Pingali.
A camera-based system for tracking people in real
time. In Proc. of ICPR '96,pp. 63-67, 1996.
A camera-based system for tracking people in real
time. In Proc. of ICPR '96,pp. 63-67, 1996.
【０００９】文献６：Q. Cai, A. Mitiche, and J. K.
Aggarwal. Tracking human motionin an indoor enviro
nment. In Proc. of 2nd International Conference on
Image Processing, pp. 215-218, 1995.
Aggarwal. Tracking human motionin an indoor enviro
nment. In Proc. of 2nd International Conference on
Image Processing, pp. 215-218, 1995.
【００１０】文献７：Q. Cai, J. K. Aggarwal. Tracki
ng human motion using multiple cameras. In Proc. o
f ICPR '96,pp. 68-72, 1996.
ng human motion using multiple cameras. In Proc. o
f ICPR '96,pp. 68-72, 1996.
【００１１】しかし、このようなシステムで広範囲の人
間の動きを追跡するには検出エリアに合わせて多くのカ
メラが必要になり、そのことにより生じる問題も多い。
多くのビジョンシステムは、３次元計測のために各カメ
ラが同時刻に観測を行うことを前提としており、そのた
めの同期機構の導入によりシステムが複雑化する。ま
た、各カメラ画像の処理に要する時間が一定でないと、
カメラ数の増加に伴い処理効率が低下する。さらに、複
数の観測を同時に行うことは観測間の冗長性を増大させ
る。また、多数のカメラ全てをあらかじめキャリブレー
ションしておくことは、視点数（カメラ数）が増えるに
したがって困難になる。
間の動きを追跡するには検出エリアに合わせて多くのカ
メラが必要になり、そのことにより生じる問題も多い。
多くのビジョンシステムは、３次元計測のために各カメ
ラが同時刻に観測を行うことを前提としており、そのた
めの同期機構の導入によりシステムが複雑化する。ま
た、各カメラ画像の処理に要する時間が一定でないと、
カメラ数の増加に伴い処理効率が低下する。さらに、複
数の観測を同時に行うことは観測間の冗長性を増大させ
る。また、多数のカメラ全てをあらかじめキャリブレー
ションしておくことは、視点数（カメラ数）が増えるに
したがって困難になる。
【００１２】本発明者は、多視点画像による移動物体追
跡システムにおいては、これらの規模の拡大によって生
じる問題（スケーラビリティ）が本質的であると考え、
規模の拡大を容易にする手法の検討を行っている。本発
明者は、文献８に示すように、既にカメラ間の同期を前
提としない人物追跡手法を提案した（文献８参照）。
跡システムにおいては、これらの規模の拡大によって生
じる問題（スケーラビリティ）が本質的であると考え、
規模の拡大を容易にする手法の検討を行っている。本発
明者は、文献８に示すように、既にカメラ間の同期を前
提としない人物追跡手法を提案した（文献８参照）。
【００１３】文献８：森大樹，内海章，大谷淳，谷内田
正彦．非同期多視点情報を用いた複数人物追跡手法の検
討．信学技報，ＰＲＭＵ98-178, pp. 15-22, 1999.
正彦．非同期多視点情報を用いた複数人物追跡手法の検
討．信学技報，ＰＲＭＵ98-178, pp. 15-22, 1999.
【００１４】そこでは、非同期に独立に動作する多数の
観測ノードで得られる観測情報をカルマンフィルタを用
いて統合することにより、カメラ間の同期を必要とせ
ず、拡張が容易な追跡システムを実現している。これに
より、観測間の冗長性を低減し視点数の増加による処理
効率の低下も抑制できる。
観測ノードで得られる観測情報をカルマンフィルタを用
いて統合することにより、カメラ間の同期を必要とせ
ず、拡張が容易な追跡システムを実現している。これに
より、観測間の冗長性を低減し視点数の増加による処理
効率の低下も抑制できる。
【００１５】
【発明が解決しようとする課題】この発明は、未校正カ
メラの位置および姿勢を自動的に校正することが可能と
なるカメラの自動校正方法を提供することを目的とす
る。
メラの位置および姿勢を自動的に校正することが可能と
なるカメラの自動校正方法を提供することを目的とす
る。
【００１６】また、この発明は、多視点画像による移動
物体追跡システムにおいて、観測部の追加削除を容易に
行うことが可能となる、カメラの自動校正方法を提供す
ることを目的とする。
物体追跡システムにおいて、観測部の追加削除を容易に
行うことが可能となる、カメラの自動校正方法を提供す
ることを目的とする。
【００１７】
【課題を解決するための手段】この発明による第１のカ
メラの自動校正方法は、未校正カメラの画像面上での対
象物体像の２次元座標値および対象物体像の大きさの対
からなる観測データを、複数位置の対象物体毎に取得
し、各位置での対象物体の世界座標系の３次元座標値と
取得した観測データとに基づいて、未校正カメラの位置
および姿勢を校正することを特徴とする。
メラの自動校正方法は、未校正カメラの画像面上での対
象物体像の２次元座標値および対象物体像の大きさの対
からなる観測データを、複数位置の対象物体毎に取得
し、各位置での対象物体の世界座標系の３次元座標値と
取得した観測データとに基づいて、未校正カメラの位置
および姿勢を校正することを特徴とする。
【００１８】対象物体の世界座標系の３次元座標値は、
たとえば、複数の校正済カメラから得られた画像に基づ
いて得られる。
たとえば、複数の校正済カメラから得られた画像に基づ
いて得られる。
【００１９】この発明による第２のカメラの自動校正方
法は、未校正カメラの他に少なくとも２台の校正済カメ
ラを用い、未校正カメラと各校正済カメラとの対毎に、
未校正カメラと校正済カメラとで同時に対象物体を撮像
するといったことを、複数位置の対象物体に対して行な
うことにより、未校正カメラと校正済カメラとの画像面
上での対象物体像の２次元座標値の対と対象物体像の大
きさの対とからなる複数組の観測データを、各校正済カ
メラ毎に取得し、取得した観測データに基づいて未校正
カメラの位置および姿勢を校正することを特徴とする。
法は、未校正カメラの他に少なくとも２台の校正済カメ
ラを用い、未校正カメラと各校正済カメラとの対毎に、
未校正カメラと校正済カメラとで同時に対象物体を撮像
するといったことを、複数位置の対象物体に対して行な
うことにより、未校正カメラと校正済カメラとの画像面
上での対象物体像の２次元座標値の対と対象物体像の大
きさの対とからなる複数組の観測データを、各校正済カ
メラ毎に取得し、取得した観測データに基づいて未校正
カメラの位置および姿勢を校正することを特徴とする。
【００２０】
【発明の実施の形態】以下、図面を参照して、この発明
の実施の形態について説明する。
の実施の形態について説明する。
【００２１】まず、本発明者が既に開発している非同期
多視点画像による人物追跡システムについて説明し、そ
の後に本願発明の特徴である未校正カメラの自動校正方
法について説明する。
多視点画像による人物追跡システムについて説明し、そ
の後に本願発明の特徴である未校正カメラの自動校正方
法について説明する。
【００２２】〔１〕人物追跡システムについての説明
【００２３】〔１−１〕人物追跡システムの全体的な構
成についての説明
成についての説明
【００２４】図１は、人物追跡システムの全体的な構成
を示している。
を示している。
【００２５】人物追跡システムは、カメラ２＃１、２＃
２、…、２＃ｎ（以下、総称的にはカメラ２という）、
各カメラに対応して設けられた観測部４＃１、４＃２、
…、４＃ｎ（以下、総称的には観測部４という）、発見
部６および追跡部８を備えている。各観測部４、発見部
６および追跡部８は、たとえば、異なる計算機で構成さ
れ、それぞれの計算機はＬＡＮによって接続されてい
る。
２、…、２＃ｎ（以下、総称的にはカメラ２という）、
各カメラに対応して設けられた観測部４＃１、４＃２、
…、４＃ｎ（以下、総称的には観測部４という）、発見
部６および追跡部８を備えている。各観測部４、発見部
６および追跡部８は、たとえば、異なる計算機で構成さ
れ、それぞれの計算機はＬＡＮによって接続されてい
る。
【００２６】各観測部４は、対応するカメラ２から得ら
れた入力画像に基づいて特徴量抽出処理を行う。各観測
部４で得られた特徴量（代表点位置、頭頂点位置、服領
域の色等）は、追跡部８から送られてくる予測位置情報
をもとに追跡モデルと対応づけられた後、観測時刻情報
とともに追跡部８に送られる。追跡モデルと対応づけら
れた後に、各観測部４から追跡部８に送られる情報を対
応点の観測情報ということにする。
れた入力画像に基づいて特徴量抽出処理を行う。各観測
部４で得られた特徴量（代表点位置、頭頂点位置、服領
域の色等）は、追跡部８から送られてくる予測位置情報
をもとに追跡モデルと対応づけられた後、観測時刻情報
とともに追跡部８に送られる。追跡モデルと対応づけら
れた後に、各観測部４から追跡部８に送られる情報を対
応点の観測情報ということにする。
【００２７】追跡モデルとの対応がとれなかった特徴量
は発見部６に送られる。追跡モデルとの対応がとれなか
ったときに、各観測部４から発見部６に送られる情報を
未対応点の観測情報ということにする。なお、各観測部
４は独立に動作する。
は発見部６に送られる。追跡モデルとの対応がとれなか
ったときに、各観測部４から発見部６に送られる情報を
未対応点の観測情報ということにする。なお、各観測部
４は独立に動作する。
【００２８】発見部６では、観測部４から送られてきた
未対応点の観測情報を用いて、シーン中に新たに現れた
人物の検出を行う。新規人物の位置情報（初期値）は追
跡部８に送信され、追跡部８による追跡が開始される。
未対応点の観測情報を用いて、シーン中に新たに現れた
人物の検出を行う。新規人物の位置情報（初期値）は追
跡部８に送信され、追跡部８による追跡が開始される。
【００２９】追跡部８は、新規人物の位置情報を初期値
とし、対応点の観測情報を入力値として、カルマンフィ
ルタを用いて人物の位置情報（位置・方向角等）を更新
し、さらに後述する観測モデルに基づいて位置を予測す
る。予測位置情報は観測部４に送信される。
とし、対応点の観測情報を入力値として、カルマンフィ
ルタを用いて人物の位置情報（位置・方向角等）を更新
し、さらに後述する観測モデルに基づいて位置を予測す
る。予測位置情報は観測部４に送信される。
【００３０】〔１−２〕観測部についての説明
【００３１】観測部４によって行なわれる処理について
説明する。まず、入力画像を人物領域と背景領域に分割
する。領域分割手法としては、文献９に記載されている
手法を用いることができる。
説明する。まず、入力画像を人物領域と背景領域に分割
する。領域分割手法としては、文献９に記載されている
手法を用いることができる。
【００３２】文献９：内海章，大谷淳. 画素値分布の推
定による時系列画像からの動物体領域抽出. 信学論，Vo
l.J81-D-II, No. 8, pp. 1768-1775, 1998.
定による時系列画像からの動物体領域抽出. 信学論，Vo
l.J81-D-II, No. 8, pp. 1768-1775, 1998.
【００３３】次に、得られた人物領域に対して距離変換
を行う。つまり、人物領域を構成する各画素毎に、各画
素から人物領域の境界までの最短距離を求めて、得られ
た距離を当該画素の距離変換値とする。この結果、距離
変換された画像における人物領域内の各画素は、最近傍
の領域境界までの距離に応じた距離変換値を持つ。
を行う。つまり、人物領域を構成する各画素毎に、各画
素から人物領域の境界までの最短距離を求めて、得られ
た距離を当該画素の距離変換値とする。この結果、距離
変換された画像における人物領域内の各画素は、最近傍
の領域境界までの距離に応じた距離変換値を持つ。
【００３４】図２（ａ）は領域分割によって得られた２
値化画像を示し、図２（ｂ）は距離変換によって得られ
た距離変換画像を示している。図２（ｂ）では、距離変
換値が大きい画素ほど黒く表されている。
値化画像を示し、図２（ｂ）は距離変換によって得られ
た距離変換画像を示している。図２（ｂ）では、距離変
換値が大きい画素ほど黒く表されている。
【００３５】次に、人物領域内で距離変換値が最大とな
る点（重心点）Ｇをその領域の代表点（特徴点）として
選択する。さらに、画像中から頭頂点の位置、胴体部分
の色情報を抽出する。この後、抽出された特徴点と既に
発見されている追跡モデルとの間の対応づけを行なう。
る点（重心点）Ｇをその領域の代表点（特徴点）として
選択する。さらに、画像中から頭頂点の位置、胴体部分
の色情報を抽出する。この後、抽出された特徴点と既に
発見されている追跡モデルとの間の対応づけを行なう。
【００３６】抽出された特徴点と既に発見されている追
跡モデルと間の対応づけの方法について説明する。後述
するように、追跡部８では人物が等速運動をしていると
仮定しており、時刻ｔにおける人物ｈj の予測位置は２
次元のガウス分布で表される。ここでは、時刻ｔにおけ
る人物ｈj の世界座標（Ｘ，Ｙ）系での予測位置をＸ
hj,t、その平均をＸ￣hj,t、共分散行列をＳ￣hj,tとす
る。
跡モデルと間の対応づけの方法について説明する。後述
するように、追跡部８では人物が等速運動をしていると
仮定しており、時刻ｔにおける人物ｈj の予測位置は２
次元のガウス分布で表される。ここでは、時刻ｔにおけ
る人物ｈj の世界座標（Ｘ，Ｙ）系での予測位置をＸ
hj,t、その平均をＸ￣hj,t、共分散行列をＳ￣hj,tとす
る。
【００３７】予測位置の分布Ｎ（Ｘ￣hj,t，Ｓ￣hj,t）
を画像ｉに弱透視投影した結果は、次式１で示される確
率からなる１次元ガウス分布ｎ（ｘ￣hj,t,i，ｓ￣
hj,t,i）となり、これは画像ｉ上での人物の存在確率を
示している。ここで、ｘ￣hj,t,iは、Ｘ￣hj,tを画像面
上に投影したものを表し、ｓ￣hj,t,iはＳ￣hj,tを画像
面上に投影したものを表している。
を画像ｉに弱透視投影した結果は、次式１で示される確
率からなる１次元ガウス分布ｎ（ｘ￣hj,t,i，ｓ￣
hj,t,i）となり、これは画像ｉ上での人物の存在確率を
示している。ここで、ｘ￣hj,t,iは、Ｘ￣hj,tを画像面
上に投影したものを表し、ｓ￣hj,t,iはＳ￣hj,tを画像
面上に投影したものを表している。
【００３８】
【数１】
【００３９】頭頂点の高さおよび服の色の分布も考慮
し、追跡モデルに対して観測値の生起確率を最大にする
特徴点を観測時間での人物ｈj に対応する観測とし、ｈ
j のラベルをつける（文献１０参照）。
し、追跡モデルに対して観測値の生起確率を最大にする
特徴点を観測時間での人物ｈj に対応する観測とし、ｈ
j のラベルをつける（文献１０参照）。
【００４０】文献１０：Howard Yang ，内海章, 大谷
淳. 非同期多視点画像を用いた複数人物追跡の安定化.
信学技報，ＰＲＭＵ99-150, pp. 1-7, 1999.
淳. 非同期多視点画像を用いた複数人物追跡の安定化.
信学技報，ＰＲＭＵ99-150, pp. 1-7, 1999.
【００４１】ラベルづけられた特徴点は、対応点の観測
情報として追跡部８に送信される。ただし、複数の人物
に対応づけられた特徴点は、観測時にオクルージョンが
発生していると判断し、送信されない。
情報として追跡部８に送信される。ただし、複数の人物
に対応づけられた特徴点は、観測時にオクルージョンが
発生していると判断し、送信されない。
【００４２】これらの処理の後、対応付けがされていな
い特徴点が存在する場合には、これらの特徴点は、新規
人物に属すると考えられるので、未対応点の観測情報
（位置・時刻）として発見部６に送られる。
い特徴点が存在する場合には、これらの特徴点は、新規
人物に属すると考えられるので、未対応点の観測情報
（位置・時刻）として発見部６に送られる。
【００４３】〔１−３〕発見部についての説明
【００４４】発見部６は、新たにシーンに登場した人物
を検出し、対応するモデルを追跡部８に追加する。
を検出し、対応するモデルを追跡部８に追加する。
【００４５】観測情報は非同期に獲得されるため、通常
のステレオ対応をそのまま適用することはできない。そ
こでカルマンフィルタを利用した時系列情報による対応
（発見）手法を用いる（上記文献８参照）。
のステレオ対応をそのまま適用することはできない。そ
こでカルマンフィルタを利用した時系列情報による対応
（発見）手法を用いる（上記文献８参照）。
【００４６】観測部４から発見部６に送られてきた未対
応点の観測情報のうち、異なる４時刻の観測情報を各１
点ずつ選出してカルマンフィルタの更新処理を行い、得
られた予測軌跡と各観測情報の誤差が一定の閾値以内で
あれば、新規人物に属する特徴点集合とし、最新観測時
刻における推定位置を初期発見位置として追跡部８に送
信する。
応点の観測情報のうち、異なる４時刻の観測情報を各１
点ずつ選出してカルマンフィルタの更新処理を行い、得
られた予測軌跡と各観測情報の誤差が一定の閾値以内で
あれば、新規人物に属する特徴点集合とし、最新観測時
刻における推定位置を初期発見位置として追跡部８に送
信する。
【００４７】〔１−４〕追跡部についての説明
【００４８】追跡中の人物モデルは、各観測部４におい
て追跡モデルと対応づけられた画像特徴を用いて更新さ
れる（上記文献８参照）。
て追跡モデルと対応づけられた画像特徴を用いて更新さ
れる（上記文献８参照）。
【００４９】図３は、位置推定に用いられる観測モデル
を示している。図３において、ｌiはカメラ２＃ｉとそ
の画像面２０＃ｉとの距離（焦点距離）を示し、Ｌhj,i
はカメラ２＃ｉと人物ｈｊとの距離を示している。ま
た、ψhj,iはカメラ２＃ｉと人物ｈｊとを結ぶ線とＹ軸
とのなす角度を示している。
を示している。図３において、ｌiはカメラ２＃ｉとそ
の画像面２０＃ｉとの距離（焦点距離）を示し、Ｌhj,i
はカメラ２＃ｉと人物ｈｊとの距離を示している。ま
た、ψhj,iはカメラ２＃ｉと人物ｈｊとを結ぶ線とＹ軸
とのなす角度を示している。
【００５０】ここでは、人物ｈｊは等速度運動をしてい
るものと仮定し、時刻ｔにおける人物ｈj の状態を、世
界座標（Ｘ，Ｙ）系上で、次式２で表す。
るものと仮定し、時刻ｔにおける人物ｈj の状態を、世
界座標（Ｘ，Ｙ）系上で、次式２で表す。
【００５１】
【数２】
【００５２】上部に”・”が付けられた記号ＸhjはＸ方
向の速度を、上部に”・”が付けられた記号ＹhjはＹ方
向の速度をそれぞれ表している。ただし初期状態は、発
見部６から送信される新規モデル情報によって決定され
る。行列に付される”’”は転置を表している。
向の速度を、上部に”・”が付けられた記号ＹhjはＹ方
向の速度をそれぞれ表している。ただし初期状態は、発
見部６から送信される新規モデル情報によって決定され
る。行列に付される”’”は転置を表している。
【００５３】ここで観測部４＃ｉにより、１回の観測が
行われたとする。観測部４＃ｉから送られてきた観測情
報により、この観測は次式３のように表すことができ
る。
行われたとする。観測部４＃ｉから送られてきた観測情
報により、この観測は次式３のように表すことができ
る。
【００５４】
【数３】
【００５５】ここでＣi はカメラ位置、Ｒψhj,t,iはエ
ピポーラ線とＹ軸のなす角度ψhj,t ,iの時計回りの回転
である（Ｈ＝［１０００］）。ｅは観測誤差で平均０、
標準偏差σhj,t,iとする。σhj,t,iはカメラからの距離
が大きくなるほど増加すると考え、次式４のように表
す。
ピポーラ線とＹ軸のなす角度ψhj,t ,iの時計回りの回転
である（Ｈ＝［１０００］）。ｅは観測誤差で平均０、
標準偏差σhj,t,iとする。σhj,t,iはカメラからの距離
が大きくなるほど増加すると考え、次式４のように表
す。
【００５６】
【数４】
【００５７】ここで、カメラＣi と人物Ｘhj,tとの間の
距離Ｌhj,t,iは未知のため、Ｘhj,tの予測位置Ｘ￣hj,t
により計算したＬ￣hj,t,iで近似する。
距離Ｌhj,t,iは未知のため、Ｘhj,tの予測位置Ｘ￣hj,t
により計算したＬ￣hj,t,iで近似する。
【００５８】以上の観測モデルによりカルマンフィルタ
を構成し、人物ｈj の状態を更新する。
を構成し、人物ｈj の状態を更新する。
【００５９】各カメラ毎に独立に更新処理を行い、人物
状態予測を行う。時刻ｔ＋１における人物ｈj の状態予
測は、平均をＸ￣hj,t+1、共分散行列をＳ￣hj,t+1とす
るガウス分布で与えられる。状態予測結果は、観測部４
の要求に応じて計算・送信され、上述したように特徴点
の対応づけに利用される。検出範囲外へ移動した人物モ
デルは削除し、その人物の追跡を中止する。
状態予測を行う。時刻ｔ＋１における人物ｈj の状態予
測は、平均をＸ￣hj,t+1、共分散行列をＳ￣hj,t+1とす
るガウス分布で与えられる。状態予測結果は、観測部４
の要求に応じて計算・送信され、上述したように特徴点
の対応づけに利用される。検出範囲外へ移動した人物モ
デルは削除し、その人物の追跡を中止する。
【００６０】〔２〕３次元推定値によるカメラ位置・姿
勢の校正方法の説明
勢の校正方法の説明
【００６１】ここでは、上記の人物追跡システムに、新
たに位置・姿勢が未知の１台の未校正カメラ２＃（ｎ＋
１）を追加し、この未校正カメラ２＃（ｎ＋１）の位置
・姿勢を他の校正済のカメラ２＃１〜２＃ｎの観測状態
に基づいて推定する方法について説明する。
たに位置・姿勢が未知の１台の未校正カメラ２＃（ｎ＋
１）を追加し、この未校正カメラ２＃（ｎ＋１）の位置
・姿勢を他の校正済のカメラ２＃１〜２＃ｎの観測状態
に基づいて推定する方法について説明する。
【００６２】シーン内を人物が移動し、その動きが未校
正カメラ２＃（ｎ＋１）を含む各カメラ２で観測されて
いるものとする。他のカメラ２＃１〜２＃ｎの観測情報
から得られた人物の３次元情報は、追跡部８を通じて取
得できる。一方、未校正カメラ２＃（ｎ＋１）上では、
人物像から得られる特徴点の位置および人物像の大きさ
（幅）の情報が得られるものとする。これらの情報を用
いて、未校正カメラ２＃（ｎ＋１）を校正する。
正カメラ２＃（ｎ＋１）を含む各カメラ２で観測されて
いるものとする。他のカメラ２＃１〜２＃ｎの観測情報
から得られた人物の３次元情報は、追跡部８を通じて取
得できる。一方、未校正カメラ２＃（ｎ＋１）上では、
人物像から得られる特徴点の位置および人物像の大きさ
（幅）の情報が得られるものとする。これらの情報を用
いて、未校正カメラ２＃（ｎ＋１）を校正する。
【００６３】〔２−１〕 校正アルゴリズムについての
説明
説明
【００６４】まず、図４に示すように、人物像ｈｊの特
徴点の３次元位置Ｘと、未校正カメラ２＃（ｎ＋１）の
画像面上での当該特徴点の観測位置（２次元位置）ｘ
と、未校正カメラ２＃（ｎ＋１）の画像面上での当該人
物像ｈｊの大きさｗの組が得られるものと仮定する。た
だし、追跡対象ｈｊの３次元の大きさは未知である。人
物像ｈｊの大きさｗは、この例では、人物像ｈｊの特徴
点を含む部分の幅とする。
徴点の３次元位置Ｘと、未校正カメラ２＃（ｎ＋１）の
画像面上での当該特徴点の観測位置（２次元位置）ｘ
と、未校正カメラ２＃（ｎ＋１）の画像面上での当該人
物像ｈｊの大きさｗの組が得られるものと仮定する。た
だし、追跡対象ｈｊの３次元の大きさは未知である。人
物像ｈｊの大きさｗは、この例では、人物像ｈｊの特徴
点を含む部分の幅とする。
【００６５】未校正カメラ２＃（ｎ＋１）の内部パラメ
ータ行列Ａを既知とすると、世界座標系における特徴点
の３次元位置Ｘと、未校正カメラ２＃（ｎ＋１）の画像
面上での当該特徴点の観測位置ｘとの関係は、未校正カ
メラ２＃（ｎ＋１）の位置・姿勢を示す回転行列Ｒおよ
び並進ベクトルｔにより次式５のように表される。
ータ行列Ａを既知とすると、世界座標系における特徴点
の３次元位置Ｘと、未校正カメラ２＃（ｎ＋１）の画像
面上での当該特徴点の観測位置ｘとの関係は、未校正カ
メラ２＃（ｎ＋１）の位置・姿勢を示す回転行列Ｒおよ
び並進ベクトルｔにより次式５のように表される。
【００６６】
【数５】
【００６７】ここで、未校正カメラ２＃（ｎ＋１）のカ
メラ座標系での特徴点の３次元位置をＸc とすると、次
式６が成立する。
メラ座標系での特徴点の３次元位置をＸc とすると、次
式６が成立する。
【００６８】
【数６】
【００６９】つまり、未校正カメラ２＃（ｎ＋１）の画
像面上での特徴点の観測位置ｘと、未校正カメラ２＃
（ｎ＋１）のカメラ座標系での特徴点の３次元位置をＸ
c との関係は、次式７で表される。
像面上での特徴点の観測位置ｘと、未校正カメラ２＃
（ｎ＋１）のカメラ座標系での特徴点の３次元位置をＸ
c との関係は、次式７で表される。
【００７０】
【数７】
【００７１】上記式７を変形することによって、次式８
が得られる。
が得られる。
【００７２】
【数８】
【００７３】Ｘc のｚ成分をＺxcとすると、Ｚxcは次式
９で表される。
９で表される。
【００７４】
【数９】
【００７５】一方、画像特徴に関して弱透視変換を仮定
し、画像面上での追跡対象ｈｊの幅（サイズ）をｗとす
ると、Ｚxcは次式１０で表される。
し、画像面上での追跡対象ｈｊの幅（サイズ）をｗとす
ると、Ｚxcは次式１０で表される。
【００７６】
【数１０】
【００７７】上記式９と上記式１０とにより、次式１１
が成立する。
が成立する。
【００７８】
【数１１】
【００７９】ａ3 ＝〔０ ０ １〕であるため、式１１
はｍを定数として、次式１２に書き換えられる。
はｍを定数として、次式１２に書き換えられる。
【００８０】
【数１２】
【００８１】上記式７と上記式１２から、次式１３が得
られる。
られる。
【００８２】
【数１３】
【００８３】観測値の組、｛Ｘ1,…, Ｘn ｝、｛ｘ1,…
, ｘn ｝、｛ｗ1,…, ｗn ｝が与えられたとする。な
お、特徴点は３以上必要である。つまり、ｎは３以上の
自然数である。まず、上記式１３式により、｛ｘ1,…,
ｘn ｝、｛ｗ1,…, ｗn ｝からＸf1, …, Ｘfnを計算す
る。
, ｘn ｝、｛ｗ1,…, ｗn ｝が与えられたとする。な
お、特徴点は３以上必要である。つまり、ｎは３以上の
自然数である。まず、上記式１３式により、｛ｘ1,…,
ｘn ｝、｛ｗ1,…, ｗn ｝からＸf1, …, Ｘfnを計算す
る。
【００８４】上記式６および上記式１３式から、各Ｘ
f1, …, Ｘfnを用いて、次式１４、１５が得られる。
f1, …, Ｘfnを用いて、次式１４、１５が得られる。
【００８５】
【数１４】
【００８６】
【数１５】
【００８７】上記式１４、１５式により、次式１６が得
られる。
られる。
【００８８】
【数１６】
【００８９】上記式１６を満たす回転行列Ｒは、次式１
７を最小にするＲとして特異値分解を利用して求められ
る。
７を最小にするＲとして特異値分解を利用して求められ
る。
【００９０】
【数１７】
【００９１】Ｒが決まると、ｍの値は、上記式１６から
最小自乗法により、次式１８のように計算できる。
最小自乗法により、次式１８のように計算できる。
【００９２】
【数１８】
【００９３】並進ベクトルｔは、上記式１５にｍ、Ｒを
代入することによって求められる。
代入することによって求められる。
【００９４】〔２−２〕検証実験
【００９５】上記校正方法の有効性を確かめるために、
次のような実験を行った。
次のような実験を行った。
【００９６】まず、計算機シミュレーションにより入力
値の持つ誤差に対するパラメータの推定精度を評価し
た。シミュレーションでは、未校正カメラの前方約３５
０［ｃｍ］の位置を中心に２００×２００×２００［ｃ
ｍ］の立方体内部から無作為に１００の３次元観測点を
選択し、未校正カメラによる観測値を計算した。ただ
し、未校正カメラの内部パラメータ行列Ａは、次式１９
で表される行列とした。
値の持つ誤差に対するパラメータの推定精度を評価し
た。シミュレーションでは、未校正カメラの前方約３５
０［ｃｍ］の位置を中心に２００×２００×２００［ｃ
ｍ］の立方体内部から無作為に１００の３次元観測点を
選択し、未校正カメラによる観測値を計算した。ただ
し、未校正カメラの内部パラメータ行列Ａは、次式１９
で表される行列とした。
【００９７】
【数１９】
【００９８】３次元位置にガウス誤差を加え、観測値と
ともにカメラパラメータの推定を行った。図５にその推
定結果を示す。図５において、Ｘ、Ｙ、Ｚはカメラ位置
を、α、β、γはカメラ姿勢を表すオイラー角を示して
いる。また、図５の水平軸は３次元位置に加えた推定誤
差の標準偏差である。
ともにカメラパラメータの推定を行った。図５にその推
定結果を示す。図５において、Ｘ、Ｙ、Ｚはカメラ位置
を、α、β、γはカメラ姿勢を表すオイラー角を示して
いる。また、図５の水平軸は３次元位置に加えた推定誤
差の標準偏差である。
【００９９】このように、入力誤差の増加に伴い推定誤
差の増加が見られるものの、大きな入力誤差に対しても
安定した推定が可能であることがわかる。特に標準偏差
５０［ｃｍ］という大きな誤差に対しても、位置パラメ
ータについての誤差は数ｃｍ以内、姿勢パラメータにつ
いての誤差は１度未満という高い推定精度が得られてい
る。
差の増加が見られるものの、大きな入力誤差に対しても
安定した推定が可能であることがわかる。特に標準偏差
５０［ｃｍ］という大きな誤差に対しても、位置パラメ
ータについての誤差は数ｃｍ以内、姿勢パラメータにつ
いての誤差は１度未満という高い推定精度が得られてい
る。
【０１００】次に、図６のようにカメラ２＃１〜カメラ
２＃５の５台のカメラを配置し、実画像により実験し
た。各カメラ２＃１〜カメラ２＃５はそれぞれ１台のＰ
Ｃ（Ｐｅｎｔｉｕｍ（登録商標）ＩＩ，４００ＭＨｚ）
からなる観測部４に接続されている。画像処理はこれら
のＰＣ（観測部４）上で行われる。処理速度は約５〜６
frame/sec である。
２＃５の５台のカメラを配置し、実画像により実験し
た。各カメラ２＃１〜カメラ２＃５はそれぞれ１台のＰ
Ｃ（Ｐｅｎｔｉｕｍ（登録商標）ＩＩ，４００ＭＨｚ）
からなる観測部４に接続されている。画像処理はこれら
のＰＣ（観測部４）上で行われる。処理速度は約５〜６
frame/sec である。
【０１０１】各ＰＣはＬＡＮで互いに接続されており、
ＮＴＰにより内部時計を同期させている。この他に発見
部６、追跡部８をそれぞれ構成する２台の計算機がＬＡ
Ｎに接続されている。
ＮＴＰにより内部時計を同期させている。この他に発見
部６、追跡部８をそれぞれ構成する２台の計算機がＬＡ
Ｎに接続されている。
【０１０２】カメラ２＃５を除く他のカメラ２＃１〜カ
メラ２＃４は、あらかじめ全てキャリブレーションされ
ており、各観測部４のキャリブレーション情報は観測情
報（観測時刻、特徴量）とともに、発見部６および追跡
部８に送信される。実験では、シーン内で人物が移動・
着座を繰り返し、カメラ２＃５を除く４台のカメラ２＃
１〜カメラ２＃４を用いて位置追跡を行った。
メラ２＃４は、あらかじめ全てキャリブレーションされ
ており、各観測部４のキャリブレーション情報は観測情
報（観測時刻、特徴量）とともに、発見部６および追跡
部８に送信される。実験では、シーン内で人物が移動・
着座を繰り返し、カメラ２＃５を除く４台のカメラ２＃
１〜カメラ２＃４を用いて位置追跡を行った。
【０１０３】未校正のカメラ２＃５を持つ観測部は、追
跡部８から各時刻の頭頂点の推定３次元位置Ｘを取得
し、自身の入力画像から得られる画像特徴（頭頂点の２
次元座標ｘ、および人物領域の幅情報ｗ）を利用してカ
メラの位置・姿勢の校正を行う。図７に実験で得られた
頭頂点の３次元位置推定値の分布を示す。
跡部８から各時刻の頭頂点の推定３次元位置Ｘを取得
し、自身の入力画像から得られる画像特徴（頭頂点の２
次元座標ｘ、および人物領域の幅情報ｗ）を利用してカ
メラの位置・姿勢の校正を行う。図７に実験で得られた
頭頂点の３次元位置推定値の分布を示す。
【０１０４】図８にパラメータ推定結果を示す。図８の
横軸は校正に用いたデータ数ｎを示し、実線はパラメー
タ推定結果を示し、破線は手動校正で得たパラメータ値
を示している。
横軸は校正に用いたデータ数ｎを示し、実線はパラメー
タ推定結果を示し、破線は手動校正で得たパラメータ値
を示している。
【０１０５】図８に示すように、観測数の増加に伴い推
定誤差が減少し、最終的に高い推定精度が得られている
のがわかる。以上より、上記校正方法を用いることで、
大きな誤差を含む追跡データによっても十分精度の高い
カメラ校正が行えることが示されたといえる。上記校正
方法を用いることにより、多視点画像による人物追跡シ
ステムへの観測部の追加削除が容易に行えるようにな
る。
定誤差が減少し、最終的に高い推定精度が得られている
のがわかる。以上より、上記校正方法を用いることで、
大きな誤差を含む追跡データによっても十分精度の高い
カメラ校正が行えることが示されたといえる。上記校正
方法を用いることにより、多視点画像による人物追跡シ
ステムへの観測部の追加削除が容易に行えるようにな
る。
【０１０６】なお、姿勢角α等にバイアス成分が見られ
るが、これは特徴点として頭頂点のみを用いたために入
力データの高さ方向に対する変位が十分でなかったため
と考えられる。肩や足先等、より多くの特徴点を利用す
れば、姿勢角α等の改善が図れると考えられる。
るが、これは特徴点として頭頂点のみを用いたために入
力データの高さ方向に対する変位が十分でなかったため
と考えられる。肩や足先等、より多くの特徴点を利用す
れば、姿勢角α等の改善が図れると考えられる。
【０１０７】〔３〕 校正済カメラの２次元観測値によ
るカメラ位置・姿勢の校正
るカメラ位置・姿勢の校正
【０１０８】上記〔２〕で説明した特徴点の３次元追跡
結果を用いた校正法では、３次元の絶対位置を校正に利
用できるという利点があるが、一方で何らかの手段によ
り特徴点の３次元追跡を行なう必要があることから適用
範囲が限られるという問題が生じる。
結果を用いた校正法では、３次元の絶対位置を校正に利
用できるという利点があるが、一方で何らかの手段によ
り特徴点の３次元追跡を行なう必要があることから適用
範囲が限られるという問題が生じる。
【０１０９】そこで、同じ特徴点について校正対象のカ
メラ（未校正カメラ）と校正済のカメラ間で同時観測を
行なうことにより、より広い状況で適用可能な校正方法
を提案する。
メラ（未校正カメラ）と校正済のカメラ間で同時観測を
行なうことにより、より広い状況で適用可能な校正方法
を提案する。
【０１１０】〔３−１〕 校正アルゴリズムの説明
【０１１１】ここでは、１台の未校正カメラＣ0 と複数
の校正済カメラ（少なくとも２台以上の校正済カメラ）
による観測を考える。同じ大きさを持つ特徴点について
未校正カメラと他の特定の１台の校正済カメラで同時に
行われた複数の観測をまとめてひとつの観測群とする。
の校正済カメラ（少なくとも２台以上の校正済カメラ）
による観測を考える。同じ大きさを持つ特徴点について
未校正カメラと他の特定の１台の校正済カメラで同時に
行われた複数の観測をまとめてひとつの観測群とする。
【０１１２】観測群ｉ（ｉ＝１，…，Ｎ）は、未校正カ
メラＣ0 と校正済カメラＣi によって同時に観測された
ｇi 組の観測データの集合であり、１組の観測ｊ（ｊ＝
１，…，ｇi ）は未校正カメラＣ0 と校正済カメラＣi
による特徴点観測位置ｘi Co ,j，ｘi Ci,j、特徴点の大
きさｗi Co,j，ｗi Ci,jからなる。なお、Ｎ，ｇi は共
に２以上の自然数である。
メラＣ0 と校正済カメラＣi によって同時に観測された
ｇi 組の観測データの集合であり、１組の観測ｊ（ｊ＝
１，…，ｇi ）は未校正カメラＣ0 と校正済カメラＣi
による特徴点観測位置ｘi Co ,j，ｘi Ci,j、特徴点の大
きさｗi Co,j，ｗi Ci,jからなる。なお、Ｎ，ｇi は共
に２以上の自然数である。
【０１１３】同じ特徴点列が未校正カメラＣ0 と複数の
校正済カメラで観測される場合には、各校正済カメラ毎
に別の観測群と考え、異なる番号ｉを当てる。
校正済カメラで観測される場合には、各校正済カメラ毎
に別の観測群と考え、異なる番号ｉを当てる。
【０１１４】未校正カメラＣ0 の位置、姿勢をｔ0 、Ｒ
0 、観測群ｉの校正済カメラＣi の位置、姿勢をｔi 、
Ｒi とすると、観測群ｉ内の観測は、上記式１４と同様
にして次式２０、２１のように表される。
0 、観測群ｉの校正済カメラＣi の位置、姿勢をｔi 、
Ｒi とすると、観測群ｉ内の観測は、上記式１４と同様
にして次式２０、２１のように表される。
【０１１５】
【数２０】
【０１１６】
【数２１】
【０１１７】ここで、Ｘi,j は観測群ｉ内の観測ｊで用
いられた特徴点の３次元位置である。また、添字ｆi
co,jが付されたＸおよび添字ｆi ci,jが付されたＸは、
特徴点観測位置ｘi Co,j、ｘi Ci,j、特徴点の大きさｗ
i Co,j、ｗi Ci,jから次式２２により、計算される３次
元予測位置である。
いられた特徴点の３次元位置である。また、添字ｆi
co,jが付されたＸおよび添字ｆi ci,jが付されたＸは、
特徴点観測位置ｘi Co,j、ｘi Ci,j、特徴点の大きさｗ
i Co,j、ｗi Ci,jから次式２２により、計算される３次
元予測位置である。
【０１１８】
【数２２】
【０１１９】ただし、カメラの内部パラメータ行列
Ａ0 、Ａi は既知とする。上記式２１より、次式２３を
得る。
Ａ0 、Ａi は既知とする。上記式２１より、次式２３を
得る。
【０１２０】
【数２３】
【０１２１】上記式２３を上記式２０に代入して、次式
２４を得る。
２４を得る。
【０１２２】
【数２４】
【０１２３】したがって、次式２５が得られる。
【０１２４】
【数２５】
【０１２５】上記式２４、２５により、次式２６が得ら
れる。
れる。
【０１２６】
【数２６】
【０１２７】複数の観測群についてまとめると、次式２
７が得られる。
７が得られる。
【０１２８】
【数２７】
【０１２９】上記式２７を満たす回転行列Ｒ0 は、次式
２８を最小にするＲ0 として特異値分解などを利用して
求められる。
２８を最小にするＲ0 として特異値分解などを利用して
求められる。
【０１３０】
【数２８】
【０１３１】回転行列Ｒ0 が求まると、次式２９によ
り、ｋ1 ＝ｎ1 ／ｍ1 ，…，ｋN ＝ｎ N ／ｍN をそれぞ
れ計算できる。
り、ｋ1 ＝ｎ1 ／ｍ1 ，…，ｋN ＝ｎ N ／ｍN をそれぞ
れ計算できる。
【０１３２】
【数２９】
【０１３３】これにより、上記式２４は、次式３０に示
すように、ｔ0 に関する直線の方程式になる。
すように、ｔ0 に関する直線の方程式になる。
【０１３４】
【数３０】
【０１３５】観測群ｉのｊ番目の観測に対するこの直線
の単位方向ベクトルをｖi,j とおくと、ｖi,j は次式３
１によって表される。
の単位方向ベクトルをｖi,j とおくと、ｖi,j は次式３
１によって表される。
【０１３６】
【数３１】
【０１３７】すると、上記式３０は次式３２のように書
き換えられる。
き換えられる。
【０１３８】
【数３２】
【０１３９】すべての観測群についてまとめると、次式
３３が得られる。
３３が得られる。
【０１４０】
【数３３】
【０１４１】上記式３３により、最小自乗法によりｔ0
を求めることができる。
を求めることができる。
【０１４２】〔３−２〕検証実験
【０１４３】〔３−１〕で説明した２次元観測値による
カメラ位置・姿勢の校正方法についても、〔２−１〕で
説明した３次元推定値によるカメラ位置・姿勢の校正方
法と同様に有効性を確認するためシミュレーション実験
を行った。
カメラ位置・姿勢の校正方法についても、〔２−１〕で
説明した３次元推定値によるカメラ位置・姿勢の校正方
法と同様に有効性を確認するためシミュレーション実験
を行った。
【０１４４】シミュレーションでは、カメラの前方約３
５０［ｃｍ］の位置を中心に２００×２００×２００
［ｃｍ］の立法体内部から無作為に１００の３次元観測
点を選択し、各カメラによる観測値を計算した。
５０［ｃｍ］の位置を中心に２００×２００×２００
［ｃｍ］の立法体内部から無作為に１００の３次元観測
点を選択し、各カメラによる観測値を計算した。
【０１４５】各カメラの内部パラメータ行列Ａは、次式
３４で表されるものとする。
３４で表されるものとする。
【０１４６】
【数３４】
【０１４７】２次元位置にガウス誤差を加え、観測値と
ともにカメラパラメータの推定を行った。図９に推定結
果を示す。図９の水平軸は２次元観測位置に加えた誤差
の標準偏差である。
ともにカメラパラメータの推定を行った。図９に推定結
果を示す。図９の水平軸は２次元観測位置に加えた誤差
の標準偏差である。
【０１４８】このように、入力誤差の増加に伴い推定誤
差の増加が見られるものの、大きな入力誤差に対しても
安定した推定が可能であることがわかる。
差の増加が見られるものの、大きな入力誤差に対しても
安定した推定が可能であることがわかる。
【０１４９】
【発明の効果】この発明によれば、未校正カメラの位置
および姿勢を自動的に校正することが可能となる。ま
た、この発明によれば、多視点画像による移動物体追跡
システムにおいて、観測部の追加削除が容易に行うこと
が可能となる。
および姿勢を自動的に校正することが可能となる。ま
た、この発明によれば、多視点画像による移動物体追跡
システムにおいて、観測部の追加削除が容易に行うこと
が可能となる。
【図１】人物追跡システムの全体的な構成を示すブロッ
ク図である。
ク図である。
【図２】観測部による特徴点抽出処理を説明するための
模式図である。
模式図である。
【図３】追跡部の位置推定に用いられる観測モデルを示
す模式図である。
す模式図である。
【図４】３次元推定値によるカメラ位置・姿勢の校正方
法を説明するための模式図である。
法を説明するための模式図である。
【図５】カメラパラメータの推定結果を示すグラフであ
る。
る。
【図６】３次元推定値によるカメラ位置・姿勢の校正方
法を検証するための実験システムを示す模式図である。
法を検証するための実験システムを示す模式図である。
【図７】図６の実験システムで得られた頭頂点の３次元
位置推定値の分布を示す。
位置推定値の分布を示す。
【図８】図６の実験システムで得られたパラメータ推定
結果を示すグラフである。。
結果を示すグラフである。。
【図９】カメラパラメータの推定結果を示すグラフであ
る。
る。
２＃１〜２＃ｎ カメラ
４＃１〜４＃ｎ 観測部
６ 発見部
８ 追跡部
フロントページの続き
(58)調査した分野(Int.Cl.7，ＤＢ名)
G01B 11/00 - 11/30
G06T 1/00
G06T 7/20
H04N 7/18
Claims (3)
- 【請求項１】 未校正カメラの画像面上での対象物体像
の２次元座標値および対象物体像の大きさの対からなる
観測データを、複数位置の対象物体毎に取得し、各位置
での対象物体の世界座標系の３次元座標値と取得した観
測データとに基づいて、未校正カメラの位置および姿勢
を校正することを特徴とするカメラの自動校正方法。 - 【請求項２】 対象物体の世界座標系の３次元座標値
は、複数の校正済カメラから得られた画像に基づいて得
られることを特徴とする請求項１に記載のカメラの自動
校正方法。 - 【請求項３】 未校正カメラの他に少なくとも２台の校
正済カメラを用い、未校正カメラと各校正済カメラとの
対毎に、未校正カメラと校正済カメラとで同時に対象物
体を撮像するといったことを、複数位置の対象物体に対
して行なうことにより、未校正カメラと校正済カメラと
の画像面上での対象物体像の２次元座標値の対と対象物
体像の大きさの対とからなる複数組の観測データを、各
校正済カメラ毎に取得し、取得した観測データに基づい
て未校正カメラの位置および姿勢を校正することを特徴
とするカメラの自動校正方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000192387A JP3411889B2 (ja) | 2000-06-27 | 2000-06-27 | カメラの自動校正方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000192387A JP3411889B2 (ja) | 2000-06-27 | 2000-06-27 | カメラの自動校正方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002005625A JP2002005625A (ja) | 2002-01-09 |
| JP3411889B2 true JP3411889B2 (ja) | 2003-06-03 |
Family
ID=18691527
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000192387A Expired - Fee Related JP3411889B2 (ja) | 2000-06-27 | 2000-06-27 | カメラの自動校正方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3411889B2 (ja) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003279315A (ja) * | 2002-01-16 | 2003-10-02 | Advanced Telecommunication Research Institute International | カメラの自動校正方法 |
| JP4307283B2 (ja) * | 2004-02-17 | 2009-08-05 | 三菱電機株式会社 | ステレオカメラシステムおよび該システムのステレオカメラ同士のキャリブレーション方法 |
| JP2006215939A (ja) * | 2005-02-07 | 2006-08-17 | Kumamoto Univ | 自由視点画像合成方法および自由視点画像合成装置 |
| JP4714078B2 (ja) * | 2006-05-24 | 2011-06-29 | 株式会社日立国際電気 | 移動物体検知システム |
| JP5106903B2 (ja) * | 2007-03-30 | 2012-12-26 | 株式会社東芝 | 移動体監視システム |
| JP4991395B2 (ja) * | 2007-05-28 | 2012-08-01 | キヤノン株式会社 | 情報処理方法及び情報処理装置 |
| JP4906683B2 (ja) * | 2007-11-12 | 2012-03-28 | 日本放送協会 | カメラパラメータ推定装置およびカメラパラメータ推定プログラム |
| CN103745484B (zh) * | 2013-12-31 | 2017-02-15 | 国家电网公司 | 一种电力设施带电作业的人员目标安全预警方法 |
| JP6433200B2 (ja) * | 2014-08-28 | 2018-12-05 | 株式会社トプコン | 演算装置、演算方法、およびプログラム |
| JP6619927B2 (ja) * | 2014-10-24 | 2019-12-11 | 株式会社日立製作所 | キャリブレーション装置 |
| JP6803570B2 (ja) * | 2016-09-08 | 2020-12-23 | パナソニックＩｐマネジメント株式会社 | カメラパラメタセット算出装置、カメラパラメタセット算出方法、および、プログラム |
| JP2019041261A (ja) * | 2017-08-25 | 2019-03-14 | 株式会社 日立産業制御ソリューションズ | 画像処理システムおよび画像処理システムの設定方法 |
| JP7047306B2 (ja) * | 2017-09-27 | 2022-04-05 | 沖電気工業株式会社 | 情報処理装置、情報処理方法、及びプログラム |
-
2000
- 2000-06-27 JP JP2000192387A patent/JP3411889B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002005625A (ja) | 2002-01-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7212228B2 (en) | Automatic camera calibration method | |
| WO2020054442A1 (ja) | 関節位置の取得方法及び装置、動作の取得方法及び装置 | |
| JP4148281B2 (ja) | モーションキャプチャ装置及びモーションキャプチャ方法、並びにモーションキャプチャプログラム | |
| Ballan et al. | Marker-less motion capture of skinned models in a four camera set-up using optical flow and silhouettes | |
| JP3411889B2 (ja) | カメラの自動校正方法 | |
| US20170330375A1 (en) | Data Processing Method and Apparatus | |
| Sundaresan et al. | Markerless motion capture using multiple cameras | |
| JP2023502795A (ja) | 実世界環境の４ｄ時空間モデルを生成するためのリアルタイムシステム | |
| Tang et al. | Joint multi-view people tracking and pose estimation for 3D scene reconstruction | |
| CN113077519B (zh) | 一种基于人体骨架提取的多相机外参自动标定方法 | |
| WO2007102537A1 (ja) | 姿勢推定装置および方法 | |
| KR101193223B1 (ko) | 인체 동작의 3ｄ 모션 구현방법 | |
| JP2018013999A (ja) | 姿勢推定装置、方法、及びプログラム | |
| CN111489392B (zh) | 多人环境下单个目标人体运动姿态捕捉方法及系统 | |
| JP2014085933A (ja) | ３次元姿勢推定装置、３次元姿勢推定方法、及びプログラム | |
| JP2003279315A (ja) | カメラの自動校正方法 | |
| JP4670010B2 (ja) | 移動体分布推定装置、移動体分布推定方法及び移動体分布推定プログラム | |
| JP2002218449A (ja) | 移動物体追跡装置 | |
| JP2009048305A (ja) | 形状解析プログラム及び形状解析装置 | |
| JP4673241B2 (ja) | 動体追跡装置、動体追跡方法及びその方法を実現したプログラムを格納した記録媒体 | |
| Datta et al. | Linearized motion estimation for articulated planes | |
| Xie et al. | RHOBIN Challenge: Reconstruction of Human Object Interaction | |
| Muhlbauer et al. | A model-based algorithm to estimate body poses using stereo vision | |
| Liu et al. | Cascaded particle filter for real-time tracking using RGB-D sensor | |
| KR101148234B1 (ko) | 신뢰 전달 알고리즘을 이용한 정면 걸음걸이 추적 장치 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100320 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110320 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |