JPH07324932A - 被写体位置・軌跡検出システム - Google Patents

Abstract

(57)【要約】 【目的】 本発明は被写体が高速で移動しているときな
どのように、ファインダ画面の中心で被写体を捕らえる
ことができないときでも、前記被写体の３次元空間上の
位置を正確に計算して、その軌跡などを表示し得るよう
にする。 【構成】 第１、第２カメラ部２、３によって、被写体
５の画像を撮像する際、被写体５の画像をファインダ画
面上のどこかで、捕らえるだけで、各カメラ７に取り付
けられた各カメラ角度検出器８によって各カメラ７のパ
ン角度、チルト角度を検出するととともに、前記各カメ
ラ７によって得られた第１、第２撮像画像中にある被写
体画像の位置に基づいて、前記パン角度、チルト角度を
補正して、常に正しいパン角度、チルト角度を算出し
て、前記被写体５の３次元空間上における位置を求め
る。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、複数台のカメラによっ
て被写体を撮影するだけで、この被写体の３次元空間に
おける位置を検出して、その軌跡などを表示し得るよう
にした被写体位置・軌跡検出システムに関する。

【０００２】［発明の概要］本発明は、移動する被写体
を２台のカメラで撮影するだけで、その被写体の移動軌
跡を検出して表示する被写体位置・軌跡検出システムに
関するものであり、カメラマンによって被写体を捕らえ
るカメラ操作の振り角度を検出することに加えて、撮像
画像の中から被写体画像の位置を抽出し、そのときのカ
メラの画角を検出して角度のずれを計算することによ
り、三角測量に必要な正確な角度を求め、カメラマンが
常に、ファインダ画面の中心で、被写体の画像を捕らえ
なくても、被写体の正確な３次元位置を計算して、これ
を軌跡表示することができるようにしたものである。こ
れによって、２台のカメラの距離が既知であるとき、こ
れらの各カメラによって被写体を捕らえるだけで、被写
体を追うカメラの振り角の情報と、画角の情報と、撮像
画像の中の被写体の画面内位置を抽出した情報に基づ
き、被写体のの３次元空間における位置を検出し、その
軌跡を表示し得るようにする。

【０００３】

【従来の技術】テレビジョンカメラなどのカメラなどを
使用して、被写体の３次元空間上の位置を測定する場
合、カメラのファインダ画面上にあるマーク位置（例え
ば、画面の中心位置）などで、被写体の画像を常に捕ら
え、このとき、カメラの三脚などに設けられた角度検出
器によってカメラの角度を測定し、三角測量の原理に基
づいて前記測定結果を処理して、前記被写体の３次元空
間上の位置を求める方法が開発されている。

【０００４】

【発明が解決しようとする課題】しかしながら、このよ
うな三角測量の原理と、カメラの角度検出技術とを組み
合わせて被写体の３次元空間上の位置を求める方法で
は、次に述べるような問題があった。

【０００５】すなわち、被写体の正確な位置を求めるた
めには、ファインダ画面の中心などのマーク位置で、被
写体の画像を捕らえることが必要であるが、被写体が高
速で移動しているときには、ファインダ画面の中心など
のマーク位置で、被写体の画像を捕らえることが難しい
ため、被写体の正確な位置を測定することができないと
いう問題があった。

【０００６】本発明は上記の事情に鑑み、必ずしも、フ
ァインダ画面の中心で被写体を捕らえていなくても、フ
ァインダ画面上のどこかで、被写体の画像を捕らえてい
れば、被写体が高速で移動しているときでも、この被写
体の３次元空間上の位置を正確に計算して、その軌跡な
どを表示することができる被写体位置・軌跡検出システ
ムを提供することを目的としている。

【０００７】

【課題を解決するための手段】上記の目的を達成するた
めに本発明による被写体位置・軌跡検出システムは、請
求項１では、被写体の画像を捕らえるカメラ、このカメ
ラのカメラ角度を検出するカメラ角度検出器および前記
カメラの画角を検出する画角検出器を有する第１カメラ
部と、この第１カメラ部で得られた画角および撮像画像
中の被写体画像位置に基づき、前記第１カメラ部で得ら
れたカメラ角度を補正して、第１カメラ部を基準とする
前記被写体の方向を演算する第１方向計算部と、前記被
写体の画像を捕らえるカメラ、このカメラのカメラ角度
を検出するカメラ角度検出器および前記カメラの画角を
検出する画角検出器を有し、前記第１カメラ部のカメラ
から所定距離、離れた位置に設置される第２カメラ部
と、この第２カメラ部で得られた画角および撮像画像中
の被写体画像位置に基づき、前記第２カメラ部で得られ
たカメラ角度を補正して、第２カメラ部を基準とする前
記被写体の方向を演算する第２方向計算部と、前記第１
方向計算部で得られた前記被写体の方向と前記第２方向
計算部で得られた前記被写体の方向と前記第１、第２カ
メラ部の３次元空間上の位置関係とに基づき、三角測量
の原理で、前記被写体の３次元空間上の位置を演算する
三角測量計算部とを備えたことを特徴としている。

【０００８】

【作用】上記の構成において、請求項１に記載の被写体
位置・軌跡検出システムでは、被写体の画像を捕らえる
カメラ、このカメラのカメラ角度を検出するカメラ角度
検出器および前記カメラの画角を検出する画角検出器を
有する第１カメラ部で得られた画角および撮像画像中の
被写体画像位置に基づき、第１方向計算部によって前記
第１カメラ部で得られたカメラ角度を補正して、第１カ
メラ部を基準とする前記被写体の方向を演算するととも
に、前記被写体の画像を捕らえるカメラ、このカメラの
カメラ角度を検出するカメラ角度検出器および前記カメ
ラの画角を検出する画角検出器を有し、前記第１カメラ
部のカメラから所定距離、離れた位置に設置される第２
カメラ部で得られた画角および撮像画像中の被写体画像
位置に基づき、第２方向計算部によって前記第２カメラ
部で得られたカメラ角度を補正して、第２カメラ部を基
準とする前記被写体の方向を演算し、三角測量計算部に
よって前記第１方向計算部で得られた前記被写体の方向
と前記第２方向計算部で得られた前記被写体の方向と前
記第１、第２カメラ部の３次元空間上の位置関係とに基
づき、三角測量の原理で、前記被写体の３次元空間上の
位置を演算することにより、被写体が高速で移動してい
るときなどのように、ファインダ画面の中心で被写体を
捕らえることができないときでも、前記被写体の３次元
空間上の位置を正確に計算して、その軌跡などを表示し
得るようにする。

【０００９】

【実施例】図１は本発明による被写体位置・軌跡検出シ
ステムの一実施例を示すブロック図である。

【００１０】この図に示す被写体位置・軌跡検出システ
ム１は、第１カメラ部２と、第２カメラ部３と、３次元
位置計算部４とを備えており、第１カメラ部２のファイ
ンダ画面上のどこかで被写体５の画像を捕らえるととも
に、第２カメラ部３のファインダ画面上のどこかで被写
体５の画像を捕らえるだけで、３次元位置計算部４によ
って、前記被写体５が高速で移動していても、前記第
１、第２カメラ部２、３の各測定結果に基づき、前記被
写体５の３次元空間上の正確な位置を計算して、表示装
置（図示は省略する）などに前記被写体５の軌跡などを
表示する。

【００１１】第１カメラ部２は床面上などに立てられる
三脚６と、この三脚６上にチルト自在、パン自在に取り
付けられるテレビジョンカメラなどのカメラ７と、この
カメラ７のチルト角度、パン角度などの角度を検出する
カメラ角度検出器８と、前記カメラ７の水平画角などを
検出する画角検出器９とを備えており、カメラマンによ
って３次元空間上の位置測定対象となる被写体５がファ
インダ画面上のどこかにあるように、カメラ７のチルト
角度、パン角度、水平画角が操作されているとき、カメ
ラ角度検出器８によってこのときのチルト角度、パン角
度などを検出するとともに、画角検出器９によってこの
ときの水平画角を検出して、これらの各測定結果（第１
検出角度および第１水平画角など）と、撮影動作によっ
て得られた第１撮像画像とを３次元位置計算部４に供給
する。

【００１２】また、第２カメラ部３は床面上などに立て
られる三脚６と、この三脚６上にチルト自在、パン自在
に取り付けられるテレビジョンカメラなどのカメラ７
と、このカメラ７のチルト角度、パン角度などの角度を
検出するカメラ角度検出器８と、前記カメラ７の水平画
角などを検出する画角検出器９とを備えており、カメラ
マンによって３次元空間上の位置測定対象となる被写体
５がファインダ画面上のどこかにあるように、カメラ７
のチルト角度、パン角度、水平画角が操作されていると
き、カメラ角度検出器８によってこのときのチルト角
度、パン角度などを検出するとともに、画角検出器９に
よってこのときの水平画角を検出して、これらの各測定
結果（第２検出角度および第２水平画角など）と、撮影
動作によって得られた第２撮像画像とを３次元位置計算
部４に供給する。

【００１３】３次元位置計算部４は前記第１カメラ部２
によって得られた第１撮像画像中の動いている物体の画
像を検出して第１位置情報を生成する第１動物体検出回
路１０と、この第１動物体検出回路１０によって検出さ
れた動いている被写体５の位置を示す第１位置情報と前
記第１カメラ部２の画角検出器９から出力される第１水
平画角とに基づき、ファインダ画面の中心から前記被写
体５の画像がどの程度ずれているのかを計算して、第１
ずれ角度を求める第１ずれ角度計算回路１１と、前記第
２カメラ部３によって得られた第２撮像画像中の動いて
いる物体の画像を検出して第２位置情報を生成する第２
動物体検出回路１２と、この第２動物体検出回路１２に
よって検出された動いている被写体５の位置を示す第２
位置情報と前記第２カメラ部３の画角検出器９から出力
される第２水平画角とに基づき、ファインダ画面の中心
から前記被写体５の画像がどの程度ずれているのかを計
算して、第２ずれ角度を求める第２ずれ角度計算回路１
３とを備えている。

【００１４】さらに、前記３次元位置計算部４は前記第
１ずれ角度計算回路１１から出力される第１ずれ角度、
前記第１カメラ部２のカメラ角度検出器８から出力され
る第１検出角度、前記第２ずれ角度計算回路１３から出
力される第２ずれ角度、前記第２カメラ部３のカメラ角
度検出器８から出力される第２検出角度、前記第１カメ
ラ部２と第２カメラ部３の距離などに基づき、三角測量
の原理で、前記被写体５の３次元空間上における位置を
計算する三角測量計算回路１４とを備えている。

【００１５】そして、第１カメラ部２によって被写体５
が撮影されるともともに、第２カメラ部３によって前記
被写体５が撮影されているとき、これら第１、第２カメ
ラ部２、３から出力される第１、第２撮像画像、第１、
第２水平画角、第１、第２検出角度などに基づき、三角
測量の原理で、前記被写体５の３次元空間上に位置を計
算し、この計算結果を表示装置などに出力して、前記被
写体５の軌跡などを表示させる。

【００１６】次に、図１に示すブロック図、図２〜図４
に示す各模式図を参照しながら、この実施例の動作を説
明する。

【００１７】まず、第１、第２カメラ部２、３によって
被写体５の撮像を始める前に、図２に示す如くこれら第
１カメラ部２と、第２カメラ部３との水平距離ｄと、第
１カメラ部２を構成するカメラ７の高さＨ１、第２カメ
ラ部３を構成するカメラ７の高さＨ２とが測定されて、
これらの各測定結果が三角測量計算回路１４に登録され
る。

【００１８】そして、これらの事前準備が終了した後、
１人のカメラマンによって第１カメラ部２のカメラ７が
操作されて、このカメラ７のファインダ画面上のどこか
で、３次元空間上での位置測定対象となる被写体５の画
像が捕らえられるとともに、他のカメラマンによって第
２カメラ部３のカメラ７が操作されて、このカメラ７の
ファインダ画面上のどこかで、前記被写体５の画像が捕
らえられる。

【００１９】これによって、第１カメラ部２に設けられ
ているカメラ７から前記被写体５の画像を含む第１撮像
画像が出力されるとともに、前記第１カメラ部２のカメ
ラ角度検出器８からカメラ７のチルト角度Ｔ１、パン角
度Ｐ１などを示す第１検出角度が出力され、さらに前記
第１カメラ部２を構成する画角検出器９からカメラ７の
第１水平画角Ｚｈ１が出力され、これら第１撮像画像、
第１検出角度、第１水平画角Ｚｈ１が３次元位置計算部
４に供給される。

【００２０】また、このとき、第２カメラ部３に設けら
れているカメラ７から前記被写体５の画像を含む第２撮
像画像が出力されるとともに、前記第２カメラ部３のカ
メラ角度検出器８からカメラ７のチルト角度Ｔ２、パン
角度Ｐ２などを示す第２検出角度が出力され、さらに前
記第２カメラ部３を構成する画角検出器９からカメラ７
の第２水平画角Ｚｈ２が出力され、これら第２撮像画
像、第２検出角度、第２水平画角Ｚｈ２が３次元位置計
算部４に供給される。

【００２１】そして、この３次元位置計算部４の第１動
物体検出回路１０によって、前記第１カメラ部２のカメ
ラ７から出力される第１撮像画像が取り込まれ、この第
１撮像画像中にある、動いている画像の位置が検出され
るとともに、第１ずれ角度計算回路１１によって前記第
１動物体検出回路１０の検出結果と、前記第１カメラ部
２を構成する画角検出器９から出力される第１水平画角
Ｚｈ１とに基づき、第１カメラ部２を構成するカメラ７
のファインダ画面上にある被写体５の画像が、前記ファ
インダ画面上の中心からどの程度ずれているかを示す第
１ずれ角度が計算される。

【００２２】この場合、第１カメラ部２のカメラ７によ
って捕らえられている第１撮像画像が図３に示す画像で
あり、この第１撮像画像の画面サイズが画素数でＸ、Ｙ
であり、この第１撮像画像上の座標（Ｘ１、Ｙ２）に被
写体５の画像中心があれば、次に述べるようにして、第
１ずれ角度が計算される。

【００２３】まず、次式に基づいて、第１カメラ部２の
カメラ７の垂直画角Ｚｖ１が演算される。

【００２４】

【数１】 Ｚｖ１＝２・ｔａｎ^-1｛（Ｙ／Ｘ）・ｔａｎ（Ｚｈ１／２）｝ …（１） 次いで、次式に基づいて、第１カメラ部２のカメラ７に
よって捕らえられている第１撮像画像の中心と、被写体
５の画像中心とのパンずれ角ΔＰ１が計算されるととも
に、

【数２】 ΔＰ１＝ｔａｎ^-1｛２・Ｘ１・ｔａｎ（Ｚｈ１／２）／Ｘ｝ …（２） 次式に基づいて、チルトずれ角ΔＴ１が計算される。

【００２５】

【数３】 ΔＴ１＝ｔａｎ^-1｛２・Ｙ１・ｔａｎ（Ｚｖ１／２）／Ｙ｝ …（３） そして、これらの計算処理で得られたパンずれ角度ΔＰ
１と、チルトずれ角ΔＴ１とが第１ずれ角度として、三
角測量計算回路１４に供給される。

【００２６】また、上述した処理と同様にして、３次元
位置計算部４の第２動物体検出回路１２によって、前記
第２カメラ部３のカメラ７から出力される第２撮像画像
が取り込まれ、この第２撮像画像中にある、動いている
画像の位置が検出されるとともに、第２ずれ角度計算回
路１３によって前記第２動物体検出回路１２の検出結果
と、前記第２カメラ部３を構成する画角検出器９から出
力される第２水平画角Ｚｈ２とに基づき、第２カメラ部
３を構成するカメラ７のファインダ画面上にある被写体
５の画像が、前記ファインダ画面上の中心からどの程度
ずれているかを示す第２ずれ角度が計算される。

【００２７】この場合、第２カメラ部３のカメラ７によ
って捕らえられている第２撮像画像が図４に示す画像で
あり、この第２撮像画像の画面サイズが画素数でＸ、Ｙ
であり、この第２撮像画像上の座標（Ｘ２、Ｙ２）に被
写体の画像中心があれば、次に述べるようにして、第２
ずれ角度が計算される。

【００２８】まず、次式に基づいて、第２カメラ部３の
カメラ７の垂直画角Ｚｖ２が演算される。

【００２９】

【数４】 Ｚｖ２＝２・ｔａｎ^-1｛（Ｙ／Ｘ）・ｔａｎ（Ｚｈ２／２）｝ …（４） 次いで、次式に基づいて、第２カメラ部３のカメラ７に
よって捕らえられている第２撮像画像の中心と、被写体
５の画像中心とのパンずれ角ΔＰ２が計算されるととも
に、

【数５】 ΔＰ２＝ｔａｎ^-1｛２・Ｘ２・ｔａｎ（Ｚｈ２／２）／Ｘ｝ …（５） 次式に基づいて、チルトずれ角ΔＴ２が計算される。

【００３０】

【数６】 ΔＴ２＝ｔａｎ^-1｛２・Ｙ２・ｔａｎ（Ｚｖ２／２）／Ｙ｝ …（６） そして、これらの計算処理で得られたパンずれ角度ΔＰ
２と、チルトずれ角ΔＴ２とが第２ずれ角度として、三
角測量計算回路１４に供給される。

【００３１】次いで、この三角測量計算回路１４によっ
て、前記第１カメラ部２のカメラ角度検出器８から出力
される第１検出角度と、前記第１ずれ角度計算回路１１
から出力される第１ずれ角度と、前記第２カメラ部３の
カメラ角度検出器８から出力される第２検出角度と、前
記第２ずれ角度計算回路１３から出力される第２ずれ角
度とに基づき、次式に示す演算が行われて、第１カメラ
部２のカメラ７に対する被写体５のチルト角度Ｔ１rea
l、パン角度Ｐ１realとが計算されるとともに、第２カ
メラ部３のカメラ７に対する被写体５のチルト角度Ｔ２
real、パン角度Ｐ２realとが計算される。

【００３２】 Ｔ１real＝Ｔ１＋ΔＴ１ …（７） Ｐ１real＝Ｐ１＋ΔＰ１ …（８） Ｔ２real＝Ｔ２＋ΔＴ２ …（９） Ｐ２real＝Ｐ２＋ΔＰ２ …（１０） この後、三角測量計算回路１４によって、これら（７）
式〜（１０）式に示すチルト角度Ｔ１real、パン角度Ｐ
１real、チルト角度Ｔ２real、パン角度Ｐ２realと、第
１カメラ部２を構成するカメラ７の高さＨ１、第２カメ
ラ部３を構成するカメラ７の高さＨ２、これらカメラ７
間の水平距離ｄとに基づき、三角測量の原理で、被写体
５の３次元空間上における位置が計算され、これが表示
装置に供給されて、蓄積表示などの手法で、その軌跡が
表示される。

【００３３】このようにこの実施例においては、第１、
第２カメラ部２、３によって被写体５の画像を撮像する
際、被写体５の画像をファインダ画面上のどこかで、捕
らえるだけで、各カメラ７に取り付けられた各カメラ角
度検出器８によって各カメラ７のパン角度、チルト角度
を検出するととともに、前記各カメラ７によって得られ
た第１、第２撮像画像中にある被写体画像の位置に基づ
いて、前記パン角度、チルト角度を補正して、常に正し
いパン角度、チルト角度を算出し、これらパン角度、チ
ルト角度などに基づき、前記被写体５の３次元空間上に
おける位置を求めるようにしたので、必ずしも、ファイ
ンダ画面の中心で被写体５を捕らえていなくても、ファ
インダ画面上のどこかで、被写体５の画像を捕らえてい
れば、被写体５が高速で移動しているときでも、この被
写体５の３次元空間上の位置を正確に計算して、その軌
跡などを表示することができる。

【００３４】

【発明の効果】以上説明したように本発明によれば、必
ずしもファインダ画面の中心で被写体を捕らえていなく
ても、ファインダ画面上のどこかで被写体の画像を捕ら
えていれば、被写体が高速で移動しているときでも、こ
の被写体の３次元空間上の位置を正確に計算して、その
軌跡などを表示することができる。

【図面の簡単な説明】

【図１】本発明による被写体位置・軌跡検出システムの
一実施例を示すブロック図である。

【図２】図１に示す被写体位置・軌跡検出システムを構
成する各部分の角度、距離、高さなどの一例を示す模式
図である。

【図３】図１に示す被写体位置・軌跡検出システムの動
作例を示す模式図である。

【図４】図１に示す被写体位置・軌跡検出システムの動
作例を示す模式図である。

【符号の説明】

１ 被写体位置・軌跡検出システム ２ 第１カメラ部 ３ 第２カメラ部 ４ ３次元位置計算部 ５ 被写体 ６ 三脚 ７ カメラ ８ カメラ角度検出器 ９ 画角検出器 １０ 第１動物体検出回路（第１方向計算部） １１ 第１ずれ角度計算回路（第１方向計算部） １２ 第２動物体検出回路（第２方向計算部） １３ 第２ずれ角度計算回路（第２方向計算部） １４ 三角測量計算回路（三角測量計算部）

Claims (1)

【特許請求の範囲】
1. 【請求項１】 被写体の画像を捕らえるカメラ、このカ
   メラのカメラ角度を検出するカメラ角度検出器および前
   記カメラの画角を検出する画角検出器を有する第１カメ
   ラ部と、 この第１カメラ部で得られた画角および撮像画像中の被
   写体画像位置に基づき、前記第１カメラ部で得られたカ
   メラ角度を補正して、第１カメラ部を基準とする前記被
   写体の方向を演算する第１方向計算部と、 前記被写体の画像を捕らえるカメラ、このカメラのカメ
   ラ角度を検出するカメラ角度検出器および前記カメラの
   画角を検出する画角検出器を有し、前記第１カメラ部の
   カメラから所定距離、離れた位置に設置される第２カメ
   ラ部と、 この第２カメラ部で得られた画角および撮像画像中の被
   写体画像位置に基づき、前記第２カメラ部で得られたカ
   メラ角度を補正して、第２カメラ部を基準とする前記被
   写体の方向を演算する第２方向計算部と、 前記第１方向計算部で得られた前記被写体の方向と前記
   第２方向計算部で得られた前記被写体の方向と前記第
   １、第２カメラ部の３次元空間上の位置関係とに基づ
   き、三角測量の原理で、前記被写体の３次元空間上の位
   置を演算する三角測量計算部と、 を備えたことを特徴とする被写体位置・軌跡検出システ
   ム。