JP4185271B2 - 位置検出装置及び位置検出プログラム - Google Patents
位置検出装置及び位置検出プログラム Download PDFInfo
- Publication number
- JP4185271B2 JP4185271B2 JP2001290686A JP2001290686A JP4185271B2 JP 4185271 B2 JP4185271 B2 JP 4185271B2 JP 2001290686 A JP2001290686 A JP 2001290686A JP 2001290686 A JP2001290686 A JP 2001290686A JP 4185271 B2 JP4185271 B2 JP 4185271B2
- Authority
- JP
- Japan
- Prior art keywords
- subject
- camera
- pan
- dimensional coordinate
- tilt
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、移動している被写体の位置を検出する技術に関し、特に２台のカメラによって撮影された被写体の３次元座標位置を検出する位置検出装置及び位置検出プログラムに関する。
【０００２】
【従来の技術】
従来、カメラを用いて移動している被写体の３次元座標位置を検出するには、以下の方法が知られている。
その方法は、まず、パン，チルトを駆動することができる２台の雲台付きカメラで前記被写体を撮影し、一方のカメラで入力された被写体が映った入力画像から、被写体の形状や色といった特徴に基づいて被写体を検出し、その動きに合わせてパン，チルト量を計算して雲台を制御することで、被写体を追跡する。また、もう一方のカメラでも同様に被写体を検出し、追跡する。
【０００３】
そして、この２台のカメラで同一被写体を撮影している状態で、三角測量法を用いて、被写体の３次元座標位置を求めることができる。例えば、三角測量法の一種であるステレオカメラ法によって、２台のカメラ間の距離と、個々のカメラの被写体への見込み角から、カメラと被写体との距離を求めることができる。
これによって、被写体が移動する状態であっても、被写体を追跡しながら、被写体の３次元座標位置を検出することができる。
【０００４】
【発明が解決しようとする課題】
しかし、前記した従来の技術では、パン，チルトを駆動することができる２台の雲台付きカメラで、例えばサッカー場のような広い空間内に存在する被写体の３次元座標位置を検出しようとするとき、前記カメラのズーム値が広角側にある場合、被写体の検出の成功率は高いが、被写体がカメラから遠ざかると、カメラの映像の大きさに対して、映像内における被写体の面積が相対的に小さくなり、被写体を検出する精度が悪くなるという問題があった。
【０００５】
また、前記カメラのズーム値を望遠側にして、映像内の被写体の面積を大きくした場合には、カメラの視野角が小さくなることで撮影できる範囲が狭くなるため、被写体の動きが速い場合には、被写体がカメラの視野角から外れないように、雲台も被写体の速い動きに合わせて駆動しなければならない。しかし、このような速い被写体の動きに対して、被写体の３次元座標位置を求める処理が追いつかず、実時間での追尾が困難であるという問題があった。
【０００６】
さらに、照明の変動や、ノイズ等によりカメラの入力画像が大きく変化した場合、被写体の３次元座標位置を求める処理に時間がかかり、一定のサンプリング間隔で雲台を制御していたのでは、被写体を安定して追尾することができなかった。
【０００７】
本発明は、前記した技術的問題点に鑑みてなされたものであり、パン，チルト，ズームが駆動できる２台の雲台付きカメラによって、移動する被写体の３次元座標位置を検出する際に、高精度に被写体の３次元座標位置を検出し、安定して被写体を追尾することができる位置検出装置及び位置検出プログラムを提供することを目的とする。
【０００８】
【課題を解決するための手段】
本発明は、前記目的を達成するために創案されたもので、まず、請求項１に記載の位置検出装置は、以下の構成にかかるものとした。
すなわち、位置検出装置は、パン，チルト，ズームを制御データによって駆動することができる駆動手段を備えた雲台に固定されたカメラで入力された入力画像から、画像データ量を減らした縮小画像を生成する縮小画像生成手段と、予め設定された被写体の形状、色の少なくとも１つに基づいて、前記縮小画像内における被写体の位置を検出し、第１の２次元座標位置を算出する第１の座標算出手段と、前記第１の２次元座標位置に基づいて、前記被写体を追跡するためのカメラのパン及びチルト量を算出し、前記カメラのパン，チルトを駆動する制御データを生成するパン・チルト量調整手段と、前記入力画像と、前記第１の２次元座標位置とに基づいて、入力画像における前記被写体の領域を限定した処理画像を生成する処理画像生成手段と、予め設定された被写体の形状、色の少なくとも１つに基づいて、前記処理画像内における被写体の位置を検出し、第２の２次元座標位置を算出する第２の座標算出手段と、前記２台のカメラで入力された入力画像から算出される２つの前記第２の２次元座標位置と前記パン及びチルト量とに基づいて、カメラと被写体間の距離を算出し、被写体の３次元座標位置を出力する３次元座標算出手段と、前記カメラと被写体間の距離に基づいて、カメラのズーム量を算出し、前記カメラのズームを駆動する制御データを生成するズーム量調整手段と、を備え、前記パン・チルト量調整手段が、前記第１の２次元座標位置が生成される時間を測定し、その測定された時間と、前記入力画像のサンプリング時間との比を、前記パン及びチルト量を変化させる倍率として算出する処理時間測定手段と、前記第１の２次元座標位置に基づいて、前記被写体を前記入力画像の中央に配置するための前記パン及びチルト量を算出し、当該パン及びチルト量に前記倍率を乗算することで、前記制御データを生成する制御データ算出手段と、を備える構成とした。
【０００９】
かかる構成によれば、位置検出装置は、縮小画像生成手段によって、パン，チルト，ズームを制御データによって駆動することができる駆動手段を備えた雲台に固定されたカメラで入力された入力画像から、画像データ量を減らした縮小画像を生成し、第１の座標算出手段によって、予め設定された被写体の形状、色の少なくとも１つに基づいて、前記縮小画像内における被写体の位置を検出し、さらに第１の２次元座標位置を算出し、パン・チルト量調整手段によって、前記算出した第１の２次元座標位置に基づいて、被写体を追跡するためのカメラのパン及びチルト量を算出し、カメラのパン，チルトを駆動する制御データを生成する。このとき、位置検出装置は、処理時間測定手段によって、前記第１の２次元座標位置が生成される時間を測定し、その測定された時間と、前記入力画像のサンプリング時間との比を、前記パン及びチルト量を変化させる倍率として算出する。そして、位置検出装置は、制御データ算出手段によって、前記第１の２次元座標位置に基づいて、前記被写体を前記入力画像の中央に配置するための前記パン及びチルト量を算出し、当該パン及びチルト量に前記倍率を乗算することで、前記パン，チルトを駆動する制御データを生成する。
【００１０】
さらに、位置検出装置は、処理画像生成手段によって、入力画像と、前記第１の２次元座標位置とに基づいて、入力画像における前記被写体の領域を限定した処理画像を生成し、第２の座標算出手段によって、予め設定された被写体の形状、色の少なくとも１つに基づいて、前記処理画像内における被写体の位置を検出し、さらに第２の２次元座標位置を算出し、３次元座標算出手段によって、２台のカメラで入力された入力画像から算出される２つの第２の２次元座標位置とパン及びチルト量とに基づいて、カメラと被写体間の距離を算出し、被写体の３次元座標位置を出力する。そして、ズーム量調整手段によって、カメラと被写体間の距離に基づいて、カメラのズーム量を算出し、前記カメラのズームを駆動する制御データを生成する。
【００１１】
これにより、位置検出装置は、カメラで入力された入力画像のデータ量を減らした縮小画像によって、被写体の第１の２次元座標位置を検出することで、瞬時に被写体の位置を検出し、被写体を追尾している。また、位置検出装置は、第１の２次元座標位置が生成される時間に基づいて、パン，チルト量を変化させることで、その時間が長い場合は、パン，チルト量を大きく変動させることで、被写体を追尾している。
【００１２】
また、位置検出装置は、２台のカメラで入力された入力画像から生成される２つの第２の２次元座標位置を検出することで、被写体の正確な３次元座標位置を検出し、その３次元座標位置に基づいて、カメラのズーム量を算出している。
【００１５】
また、請求項２に記載の位置検出装置は、請求項１に記載の位置検出装置において、ズーム量調整手段によって、カメラと被写体間の距離に基づいて、ズーム量を変化させ、カメラで入力された入力画像内における被写体の大きさを一定に保つ構成とした。
【００１６】
かかる構成によれば、位置検出装置は、カメラと被写体間の距離に基づいて、カメラで入力された入力画像内における被写体の大きさを常に一定に保つことで、被写体の検出精度を上げることができる。
【００１７】
また、請求項３に記載の位置検出プログラムは、カメラのパン，チルト，ズームを制御データによって駆動することができる駆動手段を備えた雲台に固定された２台のカメラによって、移動している被写体の３次元座標位置を検出するために、コンピュータを、以下の手段により機能させる構成とした。
【００１８】
すなわち、カメラで入力された入力画像から、画像データ量を減らした縮小画像を生成する縮小画像生成手段、予め設定された被写体の形状、色の少なくとも１つに基づいて、前記縮小画像内における被写体の位置を検出し、第１の２次元座標位置を算出する第１の座標算出手段、前記第１の２次元座標位置に基づいて、前記被写体を追跡するためのカメラのパン及びチルト量を算出し、前記カメラのパン，チルトを駆動する制御データを生成するパン・チルト量調整手段、前記入力画像と、前記第１の２次元座標位置とに基づいて、入力画像における前記被写体の領域を限定した処理画像を生成する処理画像生成手段、予め設定された被写体の形状、色の少なくとも１つに基づいて、前記処理画像内における被写体の位置を検出し、第２の２次元座標位置を算出する第２の座標算出手段、前記２台のカメラで入力された入力画像から算出される２つの前記第２の２次元座標位置と前記パン及びチルト量とに基づいて、カメラと被写体間の距離を算出し、被写体の３次元座標位置を出力する３次元座標算出手段、前記カメラと被写体間の距離に基づいて、カメラのズーム量を算出し、前記カメラのズームを駆動する制御データを生成するズーム量調整手段とした。また、前記パン・チルト量調整手段は、前記第１の２次元座標位置が生成される時間を測定し、その測定された時間と、前記入力画像のサンプリング時間との比に応じた倍率で前記パン及びチルト量を変化させることとした。
【００１９】
かかる構成によれば、位置検出プログラムは、縮小画像生成手段によって、パン，チルト，ズームを制御データによって駆動することができる駆動手段を備えた雲台に固定されたカメラで入力された入力画像から、画像データ量を減らした縮小画像を生成し、第１の座標算出手段によって、予め設定された被写体の形状、色の少なくとも１つに基づいて、前記縮小画像内における被写体の位置を検出し、さらに第１の２次元座標位置を算出し、パン・チルト量調整手段によって、前記算出した第１の２次元座標位置に基づいて、被写体を追跡するためのカメラのパン及びチルト量を算出し、カメラのパン，チルトを駆動する制御データを生成する。このとき、位置検出プログラムは、パン・チルト量調整手段によって、第１の２次元座標位置が生成される時間と、入力画像のサンプリング時間との比に応じた倍率でパン及びチルト量を変化させる。
【００２０】
さらに、位置検出プログラムは、処理画像生成手段によって、入力画像と、前記第１の２次元座標位置とに基づいて、入力画像における前記被写体の領域を限定した処理画像を生成し、第２の座標算出手段によって、予め設定された被写体の形状、色の少なくとも１つに基づいて、前記処理画像内における被写体の位置を検出し、さらに第２の２次元座標位置を算出し、３次元座標算出手段によって、２台のカメラで入力された入力画像から算出される２つの第２の２次元座標位置とパン及びチルト量とに基づいて、カメラと被写体間の距離を算出し、被写体の３次元座標位置を出力する。そして、ズーム量調整手段によって、カメラと被写体間の距離に基づいて、カメラのズーム量を算出し、前記カメラのズームを駆動する制御データを生成する。
【００２１】
これにより、位置検出プログラムは、カメラで入力された入力画像のデータ量を減らした縮小画像によって、被写体の第１の２次元座標位置を検出することで、瞬時に被写体の位置を検出し、被写体を追尾している。
【００２２】
また、位置検出プログラムは、２台のカメラで入力された入力画像から生成される２つの第２の２次元座標位置を検出することで、被写体の正確な３次元座標位置を検出し、その３次元座標位置に基づいて、カメラのズーム量を算出している。
【００２３】
【発明の実施の形態】
以下、本発明の実施の形態を図面に基づいて詳細に説明する。
（位置検出装置の構成）
図１は、本発明の実施の形態に係る位置検出装置の全体構成を示すブロック図、図２は、図１の画像処理部４の内部構成を示すブロック図、図３は、パン・チルト量調整手段７の内部構成を示すブロック図である。図１に示すように、位置検出装置１は、少なくとも２台のカメラで被写体を追尾し、被写体の３次元座標位置を検出する装置である。
【００２４】
ここで図１〜図３に基づいて、位置検出装置１の構成について説明する。
まず、図１において位置検出装置１は、パン，チルト，ズームを駆動できる２台の雲台２ａ（２ｂ）付きカメラ３ａ（３ｂ）を外部に接続し、カメラ３ａ（３ｂ）で入力された入力画像から、その画像内における被写体の２次元座標位置を算出する画像処理部４と、その算出された２つの２次元座標位置から、前記被写体の３次元座標位置を算出する演算部５と、カメラ３ａ（３ｂ）のパン及びチルト量を算出し、雲台２ａ（２ｂ）を制御するパン・チルト調整手段７と、カメラ３ａ（３ｂ）のズーム量を算出し、雲台２ａ（２ｂ）を制御するズーム量調整手段６と、を備えて構成されている。
【００２５】
なお、外部に接続した雲台２ａ（２ｂ）は、カメラ３ａ（３ｂ）のパン，チルト，ズームを駆動する駆動手段（機構）を有し、制御データによって、パン，チルト，ズームを駆動し、その駆動量（エンコーダ値）を出力するものである。
【００２６】
図１に示すように、画像処理部４は、カメラ３ａ（３ｂ）で入力された入力画像から、パン・チルト量調整手段７に通知する被写体の第１の２次元座標位置と、演算部５に通知する被写体の第２の２次元座標位置を生成する。
【００２７】
ここで図２に基づいて、画像処理部４の構成について詳細に説明する。
図２において、画像処理部４は、縮小画像生成手段４ａと、第１の座標算出手段４ｂと、処理画像生成手段４ｃと、第２の座標算出手段４ｄとで構成されている。
【００２８】
縮小画像生成手段４ａは、カメラ３ａ（３ｂ）で入力された入力画像から、画像データ量を減らした縮小画像を生成する。この縮小画像は、後記する第１の座標算出手段４ｂが、被写体の２次元座標位置を算出するために使用する。なお、ここで縮小画像を生成するのは、被写体の２次元座標位置を算出するためのデータ量を減らすことで、算出に要する処理時間を短縮するためである。
【００２９】
第１の座標算出手段４ｂは、予め設定された被写体の形状、色の少なくとも１つと、縮小画像生成手段４ａで生成された縮小画像とに基づいて、被写体の位置を検出し、その２次元座標位置を第１の２次元座標位置として、処理画像生成手段４ｃとパン・チルト量調整手段７へ通知する。
【００３０】
ここで、第１の座標算出手段４ｂが、前記縮小画像から被写体を検出するには、例えば、予め設定された被写体の色に基づいて、その色に該当する領域のみを抽出し、さらに、その抽出された領域をラベリングにより分類し、そのラベリングされた形状の中から、予め設定された被写体の形状に合致するものを、ブロックマッチングによって検出することで前記被写体を検出することができる。なお、これは一般的な画像処理技術を用いて実現することができる。
【００３１】
処理画像生成手段４ｃは、第１の座標算出手段４ｂで生成された第１の２次元座標位置に基づいて、縮小する前の入力画像において被写体の領域を含んだ矩形領域のみを抽出した処理画像を生成する。
【００３２】
この処理画像生成手段４ｃで生成された処理画像は、入力画像内の被写体の探索範囲を限定することができ、画像処理部４は、この範囲内で被写体の検出を行なうことで、高速で、高精度な被写体の検出を行なうことができる。
【００３３】
第２の座標算出手段４ｄは、処理画像生成手段４ｃで生成された処理画像の探索範囲内で、予め設定された被写体の形状、色の少なくとも１つに基づいて、被写体の位置を検出し、その２次元座標位置を第２の２次元座標位置として、演算部５へ通知する。なお、この第２の座標算出手段４ｄで、前記処理画像から被写体を検出するには、前記説明した第１の座標算出手段４ｂと同様の方法で行なう。
【００３４】
ここで、図２及び図４に基づいて、画像処理部４内における入力画像、縮小画像、処理画像の関係について、さらに説明する。
【００３５】
図４は、画像処理部４内の動作において生成される各画像を表している。
例えば、画像処理部４に入力される入力画像１０の大きさを６４０×４８０（画素）とし、縮小画像生成手段４ａにおける縮小率を１／２とすると、縮小画像生成手段４ａは、入力画像１０を縮小して３２０×２４０（画素）の縮小画像１１を生成する。なお、第１の座標算出手段４ｂは、この縮小画像１１から被写体２０を検出して、第１の２次元座標位置を生成する。
【００３６】
そして、処理画像生成手段４ｃは、縮小画像１１内における被写体２０の第１の２次元座標位置を中心とした被写体２０に外接する矩形領域で、入力画像１０の大きさに対応する矩形領域２１を輝度値「１」、その他の画素を輝度値「０」とした、入力画像１０と同じ大きさのマスク画像１２を生成する。ここで、処理画像生成手段４ｃは、入力画像１０とマスク画像１２との間で、論理和演算を行なった画像である処理画像１３を生成する。この処理画像１３内のマスクされて残った領域が、被写体を含んだ探索領域２２となる。なお、第２の座標算出手段４ｄは、この探索領域２２から被写体を検出して、第１の２次元座標位置を生成する。
図１に戻って説明を続ける。
【００３７】
演算部５は、３次元座標算出手段５ａを備え、前記した２つの画像処理部４で生成される第２の２次元座標位置と、現在のパン，チルト量とに基づいて、カメラ３ａ（３ｂ）と被写体間の距離を算出し、２次元座標位置に距離を加えた被写体の３次元座標位置を外部へ出力する。このカメラと被写体間の距離は、カメラ３ａ（３ｂ）のズーム量を調整するズーム量調整手段６に通知される。
【００３８】
ここで、カメラと被写体間の距離は、例えば、既知のステレオカメラ法によって求めることができる。このとき、予め設定されている２つのカメラ３ａ，３ｂの距離と、２つの第２の２次元座標位置から求められる視差と、パン量で表されるカメラ３ａ（３ｂ）の被写体への見込み角、チルト量で表せる仰角または俯角に基づいて、カメラ３ａ（３ｂ）と被写体間の距離を求める。
ズーム量調整手段６は、演算部５で生成されたカメラと被写体間の距離に基づいて、カメラのズーム量を算出し、カメラ３ａ（３ｂ）のズームを駆動する制御データを生成し、外部の雲台２ａ（２ｂ）へ通知する。また、現在のズーム量は、パン・チルト量調整手段７へも通知される。
【００３９】
この、ズーム量調整手段６は、カメラ３ａ（３ｂ）で入力された入力画像内の被写体の大きさを一定に保つように、カメラ３ａ（３ｂ）のズームを駆動する制御データを生成する。例えば、通常、カメラ３ａ（３ｂ）と被写体間の距離が２倍になった時、入力画像における被写体の大きさ（面積）は、１／４になる。そこで、ズーム量調整手段６は、この大きさを一定に保つためにズーム量を２倍とした制御データを生成し、雲台２ａ（２ｂ）へ通知する。
【００４０】
パン・チルト量調整手段７は、画像処理部４から通知される被写体の第１の２次元座標位置と、ズーム量調整手段６から通知されるズーム量とに基づいて、被写体をカメラ３ａ（３ｂ）の入力画像の中央に配置されるように、カメラ３ａ（３ｂ）のパン及びチルト量を算出し、カメラ３ａ（３ｂ）のパン，チルトを駆動する制御データを生成し、外部の雲台２ａ（２ｂ）へ通知する。
【００４１】
ここで図３に基づいて、パン・チルト量調整手段７の構成について詳細に説明する。
図３において、パン・チルト量調整手段７は、処理時間測定手段７ａと、制御データ算出手段７ｂと、制御データ送信手段７ｃとで構成されている。
【００４２】
処理時間測定手段７ａは、画像処理部４で生成される第１の２次元座標位置が生成される時間を測定し、その測定時間に基づいて、パン，チルト量の移動量の倍率を算出して、この移動量の倍率を制御データ算出手段７ｂに通知する。
【００４３】
この測定時間は、画像処理部４が第１の２次元座標位置を生成する時間、すなわち、画像処理部４が入力画像をラベリング処理等の画像処理に要する時間であり、入力される画像によって変化するものである。
【００４４】
また、この測定時間は、照明の変化や、ノイズの発生によって、大きく変わるため、この時間が長くなると、被写体の動作に雲台２ａ（２ｂ）が追従できなくなる。そこで、この測定時間に応じて、パン，チルトの移動量を変化させる。ここでは、この測定時間と、カメラ３ａ（３ｂ）から入力される入力画像の標準サンプリング時間（例えば、ＮＴＳＣ方式の場合には、３３．３ｍｓｅｃ）との比を算出し、パン，チルトの移動量の倍率とする。
【００４５】
制御データ算出手段７ｂは、画像処理部４で生成される被写体の第１の２次元座標位置と、ズーム量調整手段６から通知される現在のズーム量と、現在のパン，チルト量と、処理時間測定手段７ａで生成されるパン，チルト量の移動量の前記倍率とに基づいて、雲台２ａ（２ｂ）に送信するカメラ３ａ（３ｂ）のパン，チルトを駆動する制御データを生成する。なお、制御データ算出手段７ｂは、雲台２ａ（２ｂ）が、制御データによって駆動されたパン，チルト量を、雲台２ａ（２ｂ）からエンコーダ値として取得する。
【００４６】
ここで、制御データ算出手段７ｂは、被写体が入力画像の中央に配置されるようにカメラ３ａ（３ｂ）のパン，チルトの移動量を算出する。そして、この移動量に前記倍率を掛けることで、被写体が移動している場所を予測したパン，チルトを駆動する制御データを生成する。
【００４７】
制御データ送信手段７ｃは、制御データ算出手段７ｂで生成されたパン，チルトを駆動する制御データを雲台２ａ（２ｂ）へ送信して、カメラ３ａ（３ｂ）を被写体の方向に向かせる。
【００４８】
以上の構成によって、本発明に係る位置検出装置１は、２台のパン，チルト，ズームを駆動することができるカメラで、被写体を高精度に検出し、被写体を高速に追尾して、被写体の３次元座標位置を検出することができる。
【００４９】
（位置検出装置の動作）
次に、図１及び図５に基づいて、位置検出装置１の動作について説明する。図５は、位置検出装置１の動作を示すフローチャートである。図５は、カメラ３ａからの入力画像に基づいて、パン，チルト量を調整するプロセス（Ｐ１０）と、カメラ３ｂからの入力画像に基づいて、パン，チルト量を調整するプロセス（Ｐ２０）と、前記各プロセス（Ｐ１０，Ｐ２０）で生成される２次元座標位置に基づいて、３次元座標位置を生成し、カメラ３ａ，３ｂのズーム量を調整するプロセス（Ｐ３０）の３つのプロセスで構成されている。
【００５０】
まず、プロセス（Ｐ１０）の動作について説明する。なお、プロセス（Ｐ２０）は、プロセス（Ｐ１０）と動作が同じであるため、プロセス（Ｐ１０）と合わせて説明を行なう。
【００５１】
このプロセス（Ｐ１０，Ｐ２０）では、まず、カメラ３ａ，３ｂで入力された入力画像に基づいて、画像データ量を減らした縮小画像を生成し（ステップＳ１０，Ｓ２０）、その縮小画像と、予め設定された被写体の形状、色の少なくとも１つとに基づいて、被写体を検出し、被写体の第１の２次元座標位置を生成する（ステップＳ１１，Ｓ２１）。
【００５２】
次に、前記入力画像と、第１の２次元座標位置とに基づいて、入力画像内の被写体の探索範囲を限定した処理画像を生成し（ステップＳ１２，Ｓ２２）、その処理画像と、予め設定された被写体の形状、色の少なくとも１つに基づいて、被写体を検出し、被写体の第２の２次元座標位置を生成する（ステップＳ１３，Ｓ２３）。
【００５３】
そして、第１の２次元座標位置と、現在のズーム量とに基づいて、パン及びチルト量を算出し、パン，チルトを駆動する制御データを生成し、雲台２ａ，２ｂへ出力（ステップＳ１４，Ｓ２４）し、最初のステップ（ステップＳ１０，Ｓ２０）に戻る。
【００５４】
また、プロセス（Ｐ３０）は、プロセス（Ｐ１０）とプロセス（Ｐ２０）から、被写体の第２の２次元座標位置が生成された段階で、この２つの第２の２次元座標位置と、現在のパン，チルト量とに基づいて、被写体の３次元座標位置を算出し（ステップＳ３０）、ズームを駆動する制御データを生成し、雲台２ａ，２ｂへ出力する（ステップＳ３１）。そして、ステップＳ３０へ戻って、プロセス（Ｐ１０）とプロセス（Ｐ２０）からの被写体の第２の２次元座標位置を待つ。
【００５５】
以上の動作によって、位置検出装置１は、２台のパン，チルト，ズームを駆動することができるカメラで、被写体を高精度に検出し、被写体を高速に追尾して、被写体の３次元座標位置を検出する。
【００５６】
なお、位置検出装置１は、コンピュータにおいて各機能をプログラムで実現することも可能であり、各機能プログラムを結合して位置検出生成プログラムとして動作させることも可能である。
【００５７】
【発明の効果】
以上説明したとおり、本発明に係る位置検出装置及び位置検出プログラムでは、以下に示す優れた効果を奏する。
【００５８】
請求項１，３に記載の発明によれば、位置検出装置は、カメラで入力された入力画像のデータ量を減らした縮小画像によって、被写体の第１の２次元座標位置を検出することで、すばやく被写体の位置を検出し、被写体を追尾することができる。また、位置検出装置は、２台のカメラで入力された入力画像から生成される２つの第２の２次元座標位置を検出することで、被写体の正確な３次元座標位置を検出することができ、その３次元座標位置に基づいて、カメラのズーム量を算出するので、高精度で被写体を検出し、安定して被写体を追尾することができる。
【００５９】
また、請求項１，３に記載の発明によれば、位置検出装置は、第１の２次元座標位置が生成される時間に基づいて、パン，チルト量を変化させることで、前記時間が長い場合は、パン，チルト量を大きく変動させることができるので、高速に被写体が移動した場合や、照明変動やノイズ等による環境下においても、確実に被写体を追尾することができる。
【００６０】
請求項２に記載の発明によれば、位置検出装置は、カメラと被写体間の距離に基づいて、カメラで入力された入力画像内における被写体の大きさを一定に保つことで、被写体を一定の精度で検出することができるため、被写体の検出を安定して、かつ高精度のまま行なうことができる。
【図面の簡単な説明】
【図１】本発明の実施の形態に係る位置検出装置の全体構成を示すブロック図である。
【図２】本発明の実施の形態に係る画像処理部の構成を示すブロック図である。
【図３】本発明の実施の形態に係るパン・チルト量調整手段の構成を示すブロック図である。
【図４】本発明の実施の形態に係る画像処理部の処理内容を説明するための説明図である。
【図５】本発明の実施の形態に係る位置検出装置の動作を示すフローチャートである。
【符号の説明】
１……位置検出装置
２ａ，２ｂ……雲台
３ａ，３ｂ……カメラ
４……画像処理部
４ａ……縮小画像生成手段
４ｂ……第１の座標算出手段
４ｃ……処理画像生成手段
４ｄ……第２の座標算出手段
５……演算部
５ａ……３次元座標算出手段
６……ズーム量調整手段
７……パン・チルト量調整手段
７ａ……処理時間測定手段
７ｂ……制御データ算出手段
７ｃ……制御データ送信手段
【発明の属する技術分野】
本発明は、移動している被写体の位置を検出する技術に関し、特に２台のカメラによって撮影された被写体の３次元座標位置を検出する位置検出装置及び位置検出プログラムに関する。
【０００２】
【従来の技術】
従来、カメラを用いて移動している被写体の３次元座標位置を検出するには、以下の方法が知られている。
その方法は、まず、パン，チルトを駆動することができる２台の雲台付きカメラで前記被写体を撮影し、一方のカメラで入力された被写体が映った入力画像から、被写体の形状や色といった特徴に基づいて被写体を検出し、その動きに合わせてパン，チルト量を計算して雲台を制御することで、被写体を追跡する。また、もう一方のカメラでも同様に被写体を検出し、追跡する。
【０００３】
そして、この２台のカメラで同一被写体を撮影している状態で、三角測量法を用いて、被写体の３次元座標位置を求めることができる。例えば、三角測量法の一種であるステレオカメラ法によって、２台のカメラ間の距離と、個々のカメラの被写体への見込み角から、カメラと被写体との距離を求めることができる。
これによって、被写体が移動する状態であっても、被写体を追跡しながら、被写体の３次元座標位置を検出することができる。
【０００４】
【発明が解決しようとする課題】
しかし、前記した従来の技術では、パン，チルトを駆動することができる２台の雲台付きカメラで、例えばサッカー場のような広い空間内に存在する被写体の３次元座標位置を検出しようとするとき、前記カメラのズーム値が広角側にある場合、被写体の検出の成功率は高いが、被写体がカメラから遠ざかると、カメラの映像の大きさに対して、映像内における被写体の面積が相対的に小さくなり、被写体を検出する精度が悪くなるという問題があった。
【０００５】
また、前記カメラのズーム値を望遠側にして、映像内の被写体の面積を大きくした場合には、カメラの視野角が小さくなることで撮影できる範囲が狭くなるため、被写体の動きが速い場合には、被写体がカメラの視野角から外れないように、雲台も被写体の速い動きに合わせて駆動しなければならない。しかし、このような速い被写体の動きに対して、被写体の３次元座標位置を求める処理が追いつかず、実時間での追尾が困難であるという問題があった。
【０００６】
さらに、照明の変動や、ノイズ等によりカメラの入力画像が大きく変化した場合、被写体の３次元座標位置を求める処理に時間がかかり、一定のサンプリング間隔で雲台を制御していたのでは、被写体を安定して追尾することができなかった。
【０００７】
本発明は、前記した技術的問題点に鑑みてなされたものであり、パン，チルト，ズームが駆動できる２台の雲台付きカメラによって、移動する被写体の３次元座標位置を検出する際に、高精度に被写体の３次元座標位置を検出し、安定して被写体を追尾することができる位置検出装置及び位置検出プログラムを提供することを目的とする。
【０００８】
【課題を解決するための手段】
本発明は、前記目的を達成するために創案されたもので、まず、請求項１に記載の位置検出装置は、以下の構成にかかるものとした。
すなわち、位置検出装置は、パン，チルト，ズームを制御データによって駆動することができる駆動手段を備えた雲台に固定されたカメラで入力された入力画像から、画像データ量を減らした縮小画像を生成する縮小画像生成手段と、予め設定された被写体の形状、色の少なくとも１つに基づいて、前記縮小画像内における被写体の位置を検出し、第１の２次元座標位置を算出する第１の座標算出手段と、前記第１の２次元座標位置に基づいて、前記被写体を追跡するためのカメラのパン及びチルト量を算出し、前記カメラのパン，チルトを駆動する制御データを生成するパン・チルト量調整手段と、前記入力画像と、前記第１の２次元座標位置とに基づいて、入力画像における前記被写体の領域を限定した処理画像を生成する処理画像生成手段と、予め設定された被写体の形状、色の少なくとも１つに基づいて、前記処理画像内における被写体の位置を検出し、第２の２次元座標位置を算出する第２の座標算出手段と、前記２台のカメラで入力された入力画像から算出される２つの前記第２の２次元座標位置と前記パン及びチルト量とに基づいて、カメラと被写体間の距離を算出し、被写体の３次元座標位置を出力する３次元座標算出手段と、前記カメラと被写体間の距離に基づいて、カメラのズーム量を算出し、前記カメラのズームを駆動する制御データを生成するズーム量調整手段と、を備え、前記パン・チルト量調整手段が、前記第１の２次元座標位置が生成される時間を測定し、その測定された時間と、前記入力画像のサンプリング時間との比を、前記パン及びチルト量を変化させる倍率として算出する処理時間測定手段と、前記第１の２次元座標位置に基づいて、前記被写体を前記入力画像の中央に配置するための前記パン及びチルト量を算出し、当該パン及びチルト量に前記倍率を乗算することで、前記制御データを生成する制御データ算出手段と、を備える構成とした。
【０００９】
かかる構成によれば、位置検出装置は、縮小画像生成手段によって、パン，チルト，ズームを制御データによって駆動することができる駆動手段を備えた雲台に固定されたカメラで入力された入力画像から、画像データ量を減らした縮小画像を生成し、第１の座標算出手段によって、予め設定された被写体の形状、色の少なくとも１つに基づいて、前記縮小画像内における被写体の位置を検出し、さらに第１の２次元座標位置を算出し、パン・チルト量調整手段によって、前記算出した第１の２次元座標位置に基づいて、被写体を追跡するためのカメラのパン及びチルト量を算出し、カメラのパン，チルトを駆動する制御データを生成する。このとき、位置検出装置は、処理時間測定手段によって、前記第１の２次元座標位置が生成される時間を測定し、その測定された時間と、前記入力画像のサンプリング時間との比を、前記パン及びチルト量を変化させる倍率として算出する。そして、位置検出装置は、制御データ算出手段によって、前記第１の２次元座標位置に基づいて、前記被写体を前記入力画像の中央に配置するための前記パン及びチルト量を算出し、当該パン及びチルト量に前記倍率を乗算することで、前記パン，チルトを駆動する制御データを生成する。
【００１０】
さらに、位置検出装置は、処理画像生成手段によって、入力画像と、前記第１の２次元座標位置とに基づいて、入力画像における前記被写体の領域を限定した処理画像を生成し、第２の座標算出手段によって、予め設定された被写体の形状、色の少なくとも１つに基づいて、前記処理画像内における被写体の位置を検出し、さらに第２の２次元座標位置を算出し、３次元座標算出手段によって、２台のカメラで入力された入力画像から算出される２つの第２の２次元座標位置とパン及びチルト量とに基づいて、カメラと被写体間の距離を算出し、被写体の３次元座標位置を出力する。そして、ズーム量調整手段によって、カメラと被写体間の距離に基づいて、カメラのズーム量を算出し、前記カメラのズームを駆動する制御データを生成する。
【００１１】
これにより、位置検出装置は、カメラで入力された入力画像のデータ量を減らした縮小画像によって、被写体の第１の２次元座標位置を検出することで、瞬時に被写体の位置を検出し、被写体を追尾している。また、位置検出装置は、第１の２次元座標位置が生成される時間に基づいて、パン，チルト量を変化させることで、その時間が長い場合は、パン，チルト量を大きく変動させることで、被写体を追尾している。
【００１２】
また、位置検出装置は、２台のカメラで入力された入力画像から生成される２つの第２の２次元座標位置を検出することで、被写体の正確な３次元座標位置を検出し、その３次元座標位置に基づいて、カメラのズーム量を算出している。
【００１５】
また、請求項２に記載の位置検出装置は、請求項１に記載の位置検出装置において、ズーム量調整手段によって、カメラと被写体間の距離に基づいて、ズーム量を変化させ、カメラで入力された入力画像内における被写体の大きさを一定に保つ構成とした。
【００１６】
かかる構成によれば、位置検出装置は、カメラと被写体間の距離に基づいて、カメラで入力された入力画像内における被写体の大きさを常に一定に保つことで、被写体の検出精度を上げることができる。
【００１７】
また、請求項３に記載の位置検出プログラムは、カメラのパン，チルト，ズームを制御データによって駆動することができる駆動手段を備えた雲台に固定された２台のカメラによって、移動している被写体の３次元座標位置を検出するために、コンピュータを、以下の手段により機能させる構成とした。
【００１８】
すなわち、カメラで入力された入力画像から、画像データ量を減らした縮小画像を生成する縮小画像生成手段、予め設定された被写体の形状、色の少なくとも１つに基づいて、前記縮小画像内における被写体の位置を検出し、第１の２次元座標位置を算出する第１の座標算出手段、前記第１の２次元座標位置に基づいて、前記被写体を追跡するためのカメラのパン及びチルト量を算出し、前記カメラのパン，チルトを駆動する制御データを生成するパン・チルト量調整手段、前記入力画像と、前記第１の２次元座標位置とに基づいて、入力画像における前記被写体の領域を限定した処理画像を生成する処理画像生成手段、予め設定された被写体の形状、色の少なくとも１つに基づいて、前記処理画像内における被写体の位置を検出し、第２の２次元座標位置を算出する第２の座標算出手段、前記２台のカメラで入力された入力画像から算出される２つの前記第２の２次元座標位置と前記パン及びチルト量とに基づいて、カメラと被写体間の距離を算出し、被写体の３次元座標位置を出力する３次元座標算出手段、前記カメラと被写体間の距離に基づいて、カメラのズーム量を算出し、前記カメラのズームを駆動する制御データを生成するズーム量調整手段とした。また、前記パン・チルト量調整手段は、前記第１の２次元座標位置が生成される時間を測定し、その測定された時間と、前記入力画像のサンプリング時間との比に応じた倍率で前記パン及びチルト量を変化させることとした。
【００１９】
かかる構成によれば、位置検出プログラムは、縮小画像生成手段によって、パン，チルト，ズームを制御データによって駆動することができる駆動手段を備えた雲台に固定されたカメラで入力された入力画像から、画像データ量を減らした縮小画像を生成し、第１の座標算出手段によって、予め設定された被写体の形状、色の少なくとも１つに基づいて、前記縮小画像内における被写体の位置を検出し、さらに第１の２次元座標位置を算出し、パン・チルト量調整手段によって、前記算出した第１の２次元座標位置に基づいて、被写体を追跡するためのカメラのパン及びチルト量を算出し、カメラのパン，チルトを駆動する制御データを生成する。このとき、位置検出プログラムは、パン・チルト量調整手段によって、第１の２次元座標位置が生成される時間と、入力画像のサンプリング時間との比に応じた倍率でパン及びチルト量を変化させる。
【００２０】
さらに、位置検出プログラムは、処理画像生成手段によって、入力画像と、前記第１の２次元座標位置とに基づいて、入力画像における前記被写体の領域を限定した処理画像を生成し、第２の座標算出手段によって、予め設定された被写体の形状、色の少なくとも１つに基づいて、前記処理画像内における被写体の位置を検出し、さらに第２の２次元座標位置を算出し、３次元座標算出手段によって、２台のカメラで入力された入力画像から算出される２つの第２の２次元座標位置とパン及びチルト量とに基づいて、カメラと被写体間の距離を算出し、被写体の３次元座標位置を出力する。そして、ズーム量調整手段によって、カメラと被写体間の距離に基づいて、カメラのズーム量を算出し、前記カメラのズームを駆動する制御データを生成する。
【００２１】
これにより、位置検出プログラムは、カメラで入力された入力画像のデータ量を減らした縮小画像によって、被写体の第１の２次元座標位置を検出することで、瞬時に被写体の位置を検出し、被写体を追尾している。
【００２２】
また、位置検出プログラムは、２台のカメラで入力された入力画像から生成される２つの第２の２次元座標位置を検出することで、被写体の正確な３次元座標位置を検出し、その３次元座標位置に基づいて、カメラのズーム量を算出している。
【００２３】
【発明の実施の形態】
以下、本発明の実施の形態を図面に基づいて詳細に説明する。
（位置検出装置の構成）
図１は、本発明の実施の形態に係る位置検出装置の全体構成を示すブロック図、図２は、図１の画像処理部４の内部構成を示すブロック図、図３は、パン・チルト量調整手段７の内部構成を示すブロック図である。図１に示すように、位置検出装置１は、少なくとも２台のカメラで被写体を追尾し、被写体の３次元座標位置を検出する装置である。
【００２４】
ここで図１〜図３に基づいて、位置検出装置１の構成について説明する。
まず、図１において位置検出装置１は、パン，チルト，ズームを駆動できる２台の雲台２ａ（２ｂ）付きカメラ３ａ（３ｂ）を外部に接続し、カメラ３ａ（３ｂ）で入力された入力画像から、その画像内における被写体の２次元座標位置を算出する画像処理部４と、その算出された２つの２次元座標位置から、前記被写体の３次元座標位置を算出する演算部５と、カメラ３ａ（３ｂ）のパン及びチルト量を算出し、雲台２ａ（２ｂ）を制御するパン・チルト調整手段７と、カメラ３ａ（３ｂ）のズーム量を算出し、雲台２ａ（２ｂ）を制御するズーム量調整手段６と、を備えて構成されている。
【００２５】
なお、外部に接続した雲台２ａ（２ｂ）は、カメラ３ａ（３ｂ）のパン，チルト，ズームを駆動する駆動手段（機構）を有し、制御データによって、パン，チルト，ズームを駆動し、その駆動量（エンコーダ値）を出力するものである。
【００２６】
図１に示すように、画像処理部４は、カメラ３ａ（３ｂ）で入力された入力画像から、パン・チルト量調整手段７に通知する被写体の第１の２次元座標位置と、演算部５に通知する被写体の第２の２次元座標位置を生成する。
【００２７】
ここで図２に基づいて、画像処理部４の構成について詳細に説明する。
図２において、画像処理部４は、縮小画像生成手段４ａと、第１の座標算出手段４ｂと、処理画像生成手段４ｃと、第２の座標算出手段４ｄとで構成されている。
【００２８】
縮小画像生成手段４ａは、カメラ３ａ（３ｂ）で入力された入力画像から、画像データ量を減らした縮小画像を生成する。この縮小画像は、後記する第１の座標算出手段４ｂが、被写体の２次元座標位置を算出するために使用する。なお、ここで縮小画像を生成するのは、被写体の２次元座標位置を算出するためのデータ量を減らすことで、算出に要する処理時間を短縮するためである。
【００２９】
第１の座標算出手段４ｂは、予め設定された被写体の形状、色の少なくとも１つと、縮小画像生成手段４ａで生成された縮小画像とに基づいて、被写体の位置を検出し、その２次元座標位置を第１の２次元座標位置として、処理画像生成手段４ｃとパン・チルト量調整手段７へ通知する。
【００３０】
ここで、第１の座標算出手段４ｂが、前記縮小画像から被写体を検出するには、例えば、予め設定された被写体の色に基づいて、その色に該当する領域のみを抽出し、さらに、その抽出された領域をラベリングにより分類し、そのラベリングされた形状の中から、予め設定された被写体の形状に合致するものを、ブロックマッチングによって検出することで前記被写体を検出することができる。なお、これは一般的な画像処理技術を用いて実現することができる。
【００３１】
処理画像生成手段４ｃは、第１の座標算出手段４ｂで生成された第１の２次元座標位置に基づいて、縮小する前の入力画像において被写体の領域を含んだ矩形領域のみを抽出した処理画像を生成する。
【００３２】
この処理画像生成手段４ｃで生成された処理画像は、入力画像内の被写体の探索範囲を限定することができ、画像処理部４は、この範囲内で被写体の検出を行なうことで、高速で、高精度な被写体の検出を行なうことができる。
【００３３】
第２の座標算出手段４ｄは、処理画像生成手段４ｃで生成された処理画像の探索範囲内で、予め設定された被写体の形状、色の少なくとも１つに基づいて、被写体の位置を検出し、その２次元座標位置を第２の２次元座標位置として、演算部５へ通知する。なお、この第２の座標算出手段４ｄで、前記処理画像から被写体を検出するには、前記説明した第１の座標算出手段４ｂと同様の方法で行なう。
【００３４】
ここで、図２及び図４に基づいて、画像処理部４内における入力画像、縮小画像、処理画像の関係について、さらに説明する。
【００３５】
図４は、画像処理部４内の動作において生成される各画像を表している。
例えば、画像処理部４に入力される入力画像１０の大きさを６４０×４８０（画素）とし、縮小画像生成手段４ａにおける縮小率を１／２とすると、縮小画像生成手段４ａは、入力画像１０を縮小して３２０×２４０（画素）の縮小画像１１を生成する。なお、第１の座標算出手段４ｂは、この縮小画像１１から被写体２０を検出して、第１の２次元座標位置を生成する。
【００３６】
そして、処理画像生成手段４ｃは、縮小画像１１内における被写体２０の第１の２次元座標位置を中心とした被写体２０に外接する矩形領域で、入力画像１０の大きさに対応する矩形領域２１を輝度値「１」、その他の画素を輝度値「０」とした、入力画像１０と同じ大きさのマスク画像１２を生成する。ここで、処理画像生成手段４ｃは、入力画像１０とマスク画像１２との間で、論理和演算を行なった画像である処理画像１３を生成する。この処理画像１３内のマスクされて残った領域が、被写体を含んだ探索領域２２となる。なお、第２の座標算出手段４ｄは、この探索領域２２から被写体を検出して、第１の２次元座標位置を生成する。
図１に戻って説明を続ける。
【００３７】
演算部５は、３次元座標算出手段５ａを備え、前記した２つの画像処理部４で生成される第２の２次元座標位置と、現在のパン，チルト量とに基づいて、カメラ３ａ（３ｂ）と被写体間の距離を算出し、２次元座標位置に距離を加えた被写体の３次元座標位置を外部へ出力する。このカメラと被写体間の距離は、カメラ３ａ（３ｂ）のズーム量を調整するズーム量調整手段６に通知される。
【００３８】
ここで、カメラと被写体間の距離は、例えば、既知のステレオカメラ法によって求めることができる。このとき、予め設定されている２つのカメラ３ａ，３ｂの距離と、２つの第２の２次元座標位置から求められる視差と、パン量で表されるカメラ３ａ（３ｂ）の被写体への見込み角、チルト量で表せる仰角または俯角に基づいて、カメラ３ａ（３ｂ）と被写体間の距離を求める。
ズーム量調整手段６は、演算部５で生成されたカメラと被写体間の距離に基づいて、カメラのズーム量を算出し、カメラ３ａ（３ｂ）のズームを駆動する制御データを生成し、外部の雲台２ａ（２ｂ）へ通知する。また、現在のズーム量は、パン・チルト量調整手段７へも通知される。
【００３９】
この、ズーム量調整手段６は、カメラ３ａ（３ｂ）で入力された入力画像内の被写体の大きさを一定に保つように、カメラ３ａ（３ｂ）のズームを駆動する制御データを生成する。例えば、通常、カメラ３ａ（３ｂ）と被写体間の距離が２倍になった時、入力画像における被写体の大きさ（面積）は、１／４になる。そこで、ズーム量調整手段６は、この大きさを一定に保つためにズーム量を２倍とした制御データを生成し、雲台２ａ（２ｂ）へ通知する。
【００４０】
パン・チルト量調整手段７は、画像処理部４から通知される被写体の第１の２次元座標位置と、ズーム量調整手段６から通知されるズーム量とに基づいて、被写体をカメラ３ａ（３ｂ）の入力画像の中央に配置されるように、カメラ３ａ（３ｂ）のパン及びチルト量を算出し、カメラ３ａ（３ｂ）のパン，チルトを駆動する制御データを生成し、外部の雲台２ａ（２ｂ）へ通知する。
【００４１】
ここで図３に基づいて、パン・チルト量調整手段７の構成について詳細に説明する。
図３において、パン・チルト量調整手段７は、処理時間測定手段７ａと、制御データ算出手段７ｂと、制御データ送信手段７ｃとで構成されている。
【００４２】
処理時間測定手段７ａは、画像処理部４で生成される第１の２次元座標位置が生成される時間を測定し、その測定時間に基づいて、パン，チルト量の移動量の倍率を算出して、この移動量の倍率を制御データ算出手段７ｂに通知する。
【００４３】
この測定時間は、画像処理部４が第１の２次元座標位置を生成する時間、すなわち、画像処理部４が入力画像をラベリング処理等の画像処理に要する時間であり、入力される画像によって変化するものである。
【００４４】
また、この測定時間は、照明の変化や、ノイズの発生によって、大きく変わるため、この時間が長くなると、被写体の動作に雲台２ａ（２ｂ）が追従できなくなる。そこで、この測定時間に応じて、パン，チルトの移動量を変化させる。ここでは、この測定時間と、カメラ３ａ（３ｂ）から入力される入力画像の標準サンプリング時間（例えば、ＮＴＳＣ方式の場合には、３３．３ｍｓｅｃ）との比を算出し、パン，チルトの移動量の倍率とする。
【００４５】
制御データ算出手段７ｂは、画像処理部４で生成される被写体の第１の２次元座標位置と、ズーム量調整手段６から通知される現在のズーム量と、現在のパン，チルト量と、処理時間測定手段７ａで生成されるパン，チルト量の移動量の前記倍率とに基づいて、雲台２ａ（２ｂ）に送信するカメラ３ａ（３ｂ）のパン，チルトを駆動する制御データを生成する。なお、制御データ算出手段７ｂは、雲台２ａ（２ｂ）が、制御データによって駆動されたパン，チルト量を、雲台２ａ（２ｂ）からエンコーダ値として取得する。
【００４６】
ここで、制御データ算出手段７ｂは、被写体が入力画像の中央に配置されるようにカメラ３ａ（３ｂ）のパン，チルトの移動量を算出する。そして、この移動量に前記倍率を掛けることで、被写体が移動している場所を予測したパン，チルトを駆動する制御データを生成する。
【００４７】
制御データ送信手段７ｃは、制御データ算出手段７ｂで生成されたパン，チルトを駆動する制御データを雲台２ａ（２ｂ）へ送信して、カメラ３ａ（３ｂ）を被写体の方向に向かせる。
【００４８】
以上の構成によって、本発明に係る位置検出装置１は、２台のパン，チルト，ズームを駆動することができるカメラで、被写体を高精度に検出し、被写体を高速に追尾して、被写体の３次元座標位置を検出することができる。
【００４９】
（位置検出装置の動作）
次に、図１及び図５に基づいて、位置検出装置１の動作について説明する。図５は、位置検出装置１の動作を示すフローチャートである。図５は、カメラ３ａからの入力画像に基づいて、パン，チルト量を調整するプロセス（Ｐ１０）と、カメラ３ｂからの入力画像に基づいて、パン，チルト量を調整するプロセス（Ｐ２０）と、前記各プロセス（Ｐ１０，Ｐ２０）で生成される２次元座標位置に基づいて、３次元座標位置を生成し、カメラ３ａ，３ｂのズーム量を調整するプロセス（Ｐ３０）の３つのプロセスで構成されている。
【００５０】
まず、プロセス（Ｐ１０）の動作について説明する。なお、プロセス（Ｐ２０）は、プロセス（Ｐ１０）と動作が同じであるため、プロセス（Ｐ１０）と合わせて説明を行なう。
【００５１】
このプロセス（Ｐ１０，Ｐ２０）では、まず、カメラ３ａ，３ｂで入力された入力画像に基づいて、画像データ量を減らした縮小画像を生成し（ステップＳ１０，Ｓ２０）、その縮小画像と、予め設定された被写体の形状、色の少なくとも１つとに基づいて、被写体を検出し、被写体の第１の２次元座標位置を生成する（ステップＳ１１，Ｓ２１）。
【００５２】
次に、前記入力画像と、第１の２次元座標位置とに基づいて、入力画像内の被写体の探索範囲を限定した処理画像を生成し（ステップＳ１２，Ｓ２２）、その処理画像と、予め設定された被写体の形状、色の少なくとも１つに基づいて、被写体を検出し、被写体の第２の２次元座標位置を生成する（ステップＳ１３，Ｓ２３）。
【００５３】
そして、第１の２次元座標位置と、現在のズーム量とに基づいて、パン及びチルト量を算出し、パン，チルトを駆動する制御データを生成し、雲台２ａ，２ｂへ出力（ステップＳ１４，Ｓ２４）し、最初のステップ（ステップＳ１０，Ｓ２０）に戻る。
【００５４】
また、プロセス（Ｐ３０）は、プロセス（Ｐ１０）とプロセス（Ｐ２０）から、被写体の第２の２次元座標位置が生成された段階で、この２つの第２の２次元座標位置と、現在のパン，チルト量とに基づいて、被写体の３次元座標位置を算出し（ステップＳ３０）、ズームを駆動する制御データを生成し、雲台２ａ，２ｂへ出力する（ステップＳ３１）。そして、ステップＳ３０へ戻って、プロセス（Ｐ１０）とプロセス（Ｐ２０）からの被写体の第２の２次元座標位置を待つ。
【００５５】
以上の動作によって、位置検出装置１は、２台のパン，チルト，ズームを駆動することができるカメラで、被写体を高精度に検出し、被写体を高速に追尾して、被写体の３次元座標位置を検出する。
【００５６】
なお、位置検出装置１は、コンピュータにおいて各機能をプログラムで実現することも可能であり、各機能プログラムを結合して位置検出生成プログラムとして動作させることも可能である。
【００５７】
【発明の効果】
以上説明したとおり、本発明に係る位置検出装置及び位置検出プログラムでは、以下に示す優れた効果を奏する。
【００５８】
請求項１，３に記載の発明によれば、位置検出装置は、カメラで入力された入力画像のデータ量を減らした縮小画像によって、被写体の第１の２次元座標位置を検出することで、すばやく被写体の位置を検出し、被写体を追尾することができる。また、位置検出装置は、２台のカメラで入力された入力画像から生成される２つの第２の２次元座標位置を検出することで、被写体の正確な３次元座標位置を検出することができ、その３次元座標位置に基づいて、カメラのズーム量を算出するので、高精度で被写体を検出し、安定して被写体を追尾することができる。
【００５９】
また、請求項１，３に記載の発明によれば、位置検出装置は、第１の２次元座標位置が生成される時間に基づいて、パン，チルト量を変化させることで、前記時間が長い場合は、パン，チルト量を大きく変動させることができるので、高速に被写体が移動した場合や、照明変動やノイズ等による環境下においても、確実に被写体を追尾することができる。
【００６０】
請求項２に記載の発明によれば、位置検出装置は、カメラと被写体間の距離に基づいて、カメラで入力された入力画像内における被写体の大きさを一定に保つことで、被写体を一定の精度で検出することができるため、被写体の検出を安定して、かつ高精度のまま行なうことができる。
【図面の簡単な説明】
【図１】本発明の実施の形態に係る位置検出装置の全体構成を示すブロック図である。
【図２】本発明の実施の形態に係る画像処理部の構成を示すブロック図である。
【図３】本発明の実施の形態に係るパン・チルト量調整手段の構成を示すブロック図である。
【図４】本発明の実施の形態に係る画像処理部の処理内容を説明するための説明図である。
【図５】本発明の実施の形態に係る位置検出装置の動作を示すフローチャートである。
【符号の説明】
１……位置検出装置
２ａ，２ｂ……雲台
３ａ，３ｂ……カメラ
４……画像処理部
４ａ……縮小画像生成手段
４ｂ……第１の座標算出手段
４ｃ……処理画像生成手段
４ｄ……第２の座標算出手段
５……演算部
５ａ……３次元座標算出手段
６……ズーム量調整手段
７……パン・チルト量調整手段
７ａ……処理時間測定手段
７ｂ……制御データ算出手段
７ｃ……制御データ送信手段
Claims (3)
- カメラのパン，チルト，ズームを制御データによって駆動することができる駆動手段を備えた雲台に固定された２台のカメラによって、移動している被写体の３次元座標位置を検出する位置検出装置であって、
前記カメラで入力された入力画像から、画像データ量を減らした縮小画像を生成する縮小画像生成手段と、
予め設定された被写体の形状、色の少なくとも１つに基づいて、前記縮小画像内における被写体の位置を検出し、第１の２次元座標位置を算出する第１の座標算出手段と、
前記第１の２次元座標位置に基づいて、前記被写体を追跡するためのカメラのパン及びチルト量を算出し、前記カメラのパン，チルトを駆動する制御データを生成するパン・チルト量調整手段と、
前記入力画像と、前記第１の２次元座標位置とに基づいて、入力画像における前記被写体の領域を限定した処理画像を生成する処理画像生成手段と、
予め設定された被写体の形状、色の少なくとも１つに基づいて、前記処理画像内における被写体の位置を検出し、第２の２次元座標位置を算出する第２の座標算出手段と、
前記２台のカメラで入力された入力画像から算出される２つの前記第２の２次元座標位置と前記パン及びチルト量とに基づいて、カメラと被写体間の距離を算出し、被写体の３次元座標位置を出力する３次元座標算出手段と、
前記カメラと被写体間の距離に基づいて、カメラのズーム量を算出し、前記カメラのズームを駆動する制御データを生成するズーム量調整手段と、を備え、
前記パン・チルト量調整手段は、
前記第１の２次元座標位置が生成される時間を測定し、その測定された時間と、前記入力画像のサンプリング時間との比を、前記パン及びチルト量を変化させる倍率として算出する処理時間測定手段と、
前記第１の２次元座標位置に基づいて、前記被写体を前記入力画像の中央に配置するための前記パン及びチルト量を算出し、当該パン及びチルト量に前記倍率を乗算することで、前記パン，チルトを駆動する制御データを生成する制御データ算出手段と、
を備えることを特徴とする位置検出装置。 - 前記ズーム量調整手段は、カメラと被写体間の距離に基づいて、前記ズーム量を変化させ、前記入力画像内における被写体の大きさを一定に保つことを特徴とする請求項１に記載の位置検出装置。
- カメラのパン，チルト，ズームを制御データによって駆動することができる駆動手段を備えた雲台に固定された２台のカメラによって、移動している被写体の３次元座標位置を検出するために、コンピュータを、
前記カメラで入力された入力画像から、画像データ量を減らした縮小画像を生成する縮小画像生成手段、
予め設定された被写体の形状、色の少なくとも１つに基づいて、前記縮小画像内における被写体の位置を検出し、第１の２次元座標位置を算出する第１の座標算出手段、
前記第１の２次元座標位置に基づいて、前記被写体を追跡するためのカメラのパン及びチルト量を算出し、前記カメラのパン，チルトを駆動する制御データを生成するパン・チルト量調整手段、
前記入力画像と、前記第１の２次元座標位置とに基づいて、入力画像における前記被写体の領域を限定した処理画像を生成する処理画像生成手段、
予め設定された被写体の形状、色の少なくとも１つに基づいて、前記処理画像内における被写体の位置を検出し、第２の２次元座標位置を算出する第２の座標算出手段、
前記２台のカメラで入力された入力画像から算出される２つの前記第２の２次元座標位置と前記パン及びチルト量とに基づいて、カメラと被写体間の距離を算出し、被写体の３次元座標位置を出力する３次元座標算出手段、
前記カメラと被写体間の距離に基づいて、カメラのズーム量を算出し、前記カメラのズームを駆動する制御データを生成するズーム量調整手段、として機能させ、
前記パン・チルト量調整手段は、前記第１の２次元座標位置が生成される時間を測定し、その測定された時間と、前記入力画像のサンプリング時間との比に応じた倍率を前記パン及びチルト量に乗算することで前記パン，チルトを駆動する制御データを生成することを特徴とする位置検出プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001290686A JP4185271B2 (ja) | 2001-09-25 | 2001-09-25 | 位置検出装置及び位置検出プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001290686A JP4185271B2 (ja) | 2001-09-25 | 2001-09-25 | 位置検出装置及び位置検出プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003097914A JP2003097914A (ja) | 2003-04-03 |
| JP4185271B2 true JP4185271B2 (ja) | 2008-11-26 |
Family
ID=19112956
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001290686A Expired - Fee Related JP4185271B2 (ja) | 2001-09-25 | 2001-09-25 | 位置検出装置及び位置検出プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4185271B2 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5045125B2 (ja) | 2006-03-15 | 2012-10-10 | 株式会社ニコン | 被写体追尾装置および光学機器 |
| JP4957134B2 (ja) * | 2006-09-12 | 2012-06-20 | 株式会社日立製作所 | 距離計測装置 |
| TW200838292A (en) * | 2007-03-14 | 2008-09-16 | Ming-Yan Lin | Visual space point recognition method |
| TWI510106B (zh) * | 2011-01-28 | 2015-11-21 | Hon Hai Prec Ind Co Ltd | 聲音輸出校正系統及方法 |
| JP2016158186A (ja) | 2015-02-26 | 2016-09-01 | カシオ計算機株式会社 | 撮像装置、撮像方法、撮像プログラム |
-
2001
- 2001-09-25 JP JP2001290686A patent/JP4185271B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003097914A (ja) | 2003-04-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8180107B2 (en) | Active coordinated tracking for multi-camera systems | |
| JP4198054B2 (ja) | ３ｄビデオ会議システム | |
| US8150143B2 (en) | Dynamic calibration method for single and multiple video capture devices | |
| US8698898B2 (en) | Controlling robotic motion of camera | |
| TWI764024B (zh) | 結合來自複數個攝影機之視圖的方法及攝影機系統 | |
| KR20150050172A (ko) | 관심 객체 추적을 위한 다중 카메라 동적 선택 장치 및 방법 | |
| JP2018522348A (ja) | センサーの３次元姿勢を推定する方法及びシステム | |
| KR20200071960A (ko) | 카메라 및 라이다 센서 융합을 이용한 객체 검출 방법 및 그를 위한 장치 | |
| WO2021200432A1 (ja) | 撮影指示方法、撮影方法、撮影指示装置及び撮影装置 | |
| KR20110044101A (ko) | 듀얼 카메라를 이용한 실시간 감시장치 | |
| JP2005142683A (ja) | カメラ制御装置およびカメラ制御方法 | |
| JP4185271B2 (ja) | 位置検出装置及び位置検出プログラム | |
| JP2004069583A (ja) | 画像処理装置 | |
| JP2001116527A (ja) | 立体物検出方法及び装置 | |
| JPH11331828A (ja) | 自動追尾装置 | |
| JP3512894B2 (ja) | 相対的移動量算出装置及び相対的移動量算出方法 | |
| KR20180095407A (ko) | 사용자 시점 대응 원격지의 3차원 영상 획득 및 제공 방법 | |
| JP3655065B2 (ja) | 位置・姿勢検出装置と位置・姿勢検出方法と３次元形状復元装置及び３次元形状復元方法 | |
| WO2019208234A1 (ja) | 自己位置推定装置、自己位置推定方法、およびそのプログラム | |
| JP2006338203A (ja) | 画像処理装置及び画像処理方法 | |
| JP2580516B2 (ja) | 実時間３次元運動測定装置およびその方法 | |
| JPH11218410A (ja) | レンジファインダ装置及び画像伝送装置 | |
| CN111862336A (zh) | 基于姿势改变进行通知的方法及相关互动影像处理系统 | |
| US20230132986A1 (en) | Information processing apparatus, information processing method, and program | |
| KR20190085620A (ko) | 공간 내의 물체 운동 분석 장치 및 그 제어 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060324 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080307 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080311 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080512 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080812 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080905 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110912 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120912 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120912 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130912 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |