JP3704201B2 - 自動撮影カメラシステム及びそのシステムにおける被写体の認識方法 - Google Patents
自動撮影カメラシステム及びそのシステムにおける被写体の認識方法 Download PDFInfo
- Publication number
- JP3704201B2 JP3704201B2 JP15313796A JP15313796A JP3704201B2 JP 3704201 B2 JP3704201 B2 JP 3704201B2 JP 15313796 A JP15313796 A JP 15313796A JP 15313796 A JP15313796 A JP 15313796A JP 3704201 B2 JP3704201 B2 JP 3704201B2
- Authority
- JP
- Japan
- Prior art keywords
- color
- subject
- camera
- image
- photographing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Color Television Image Signal Generators (AREA)
- Image Analysis (AREA)
Description
【発明の属する技術分野】
本発明は、テレビカメラを使用して撮影した画像から撮影対象の被写体の3次元位置を計測し、その被写体を自動追尾して無人で撮影することができる自動撮影カメラシステム及びそのシステムにおける被写体の認識方法に関する。
【0002】
【従来の技術】
従来、カメラ操作者が直接テレビジョンカメラを操作せず、被写体を自動追尾して撮影することができるようにしたカメラシステムでは、水平,垂直方向に回動可能で外部からの制御信号により制御可能な撮影用カメラを用い、被写体の動きに合わせて撮影用カメラを駆動制御するようにしている。被写体を認識する方法としては、例えば、被写体(あるいは被写体と共に移動する物体)に予め検知マークを付けておき、撮影画像を処理してその検知マークを認識する方法や、赤色など特定の色を被写体として認識する方法が採られている。そして、認識した被写体が画面の枠内の所定位置に位置するように撮影用カメラを駆動制御することで、被写体を追尾して撮影するようにしている。
【0003】
【発明が解決しようとする課題】
しかしながら、予め検知マークを被写体に付けて認識する方法では、自動認識の適用範囲が狭く、また、認識対象が小さすぎるため安定した認識ができないという問題があった。一方、特定の一色を被写体として認識する方法では、同一色が存在する等、撮影対象を特定できないような場所には適用できないという問題があった。また、日光や照明が当たっている場所で撮影する場合には被写体に影の部分ができるので、認識対象となる色の部分が小さくなり、いずれの方法を採っても安定した認識ができないという問題があった。さらに、天候や倍率等の撮影条件によっては色が変化するため、被写体を認識できないケースが生じるという問題があった。例えば、認識対象の色が赤の場合、雪が降っているときに見える色はピンクになり、赤と白で構成された衣服では小さく映すとピンクになるというように、撮影条件によって色が変化してしまうため、認識不能となる場合があった。
【0004】
本発明は上述のような事情から成されたものであり、本発明の目的は、自動追尾の対象である静止又は移動している被写体を、天候等の撮影条件によらずに安定して認識することができる自動撮影カメラシステム及びそのシステムにおける被写体の認識方法を提供することにある。
【0005】
【課題を解決するための手段】
本発明は、広角画像を撮影するセンサカメラの撮影画像内の静止体又は移動体の中から撮影対象の被写体を認識し、外部からの制御信号により撮影方向を含むカメラ操作の制御が可能な撮影用カメラを駆動制御して前記被写体の自動追尾による撮影を行なう自動撮影カメラシステム及びそのシステムにおける被写体の認識方法に関するものであり、本発明の上記目的は、自動撮影カメラシステムにおける被写体の認識方法について、前記被写体の表面部を構成する複数の色を抽出色として予め設定しておき、前記センサカメラの広角画像から前記抽出色又はその指定色に該当する各色の画像部を抽出し、抽出部の画像情報に基づいて前記撮影対象の被写体を認識するようにすることによって達成される。
【0006】
あるいは、前記被写体の表面部を構成する複数の色を抽出色として予め設定しておき、前記センサカメラの広角画像から前記抽出色又はその指定色に該当し、且つ互いの位置関係の条件を満たす各色の画像部を抽出し、抽出部の画像情報に基づいて前記撮影対象の被写体を認識することによって達成される。また、前記位置関係の条件が、前記該当する当該色部を所定の倍率で拡大し、拡大部の範囲内に他の該当する色部が含まれるか否かの条件であることによって、より効果的に達成される。
【0007】
あるいは、前記被写体の表面部を構成する複数の色を抽出色として予め設定しておき、前記センサカメラの広角画像から前記抽出色及びその混色又は前記抽出色の指定色及びその混色に該当する各色の画像部を抽出し、抽出部の画像情報に基づいて前記撮影対象の被写体を認識することによって達成される。さらに、前記設定されている色が、撮影条件によって変化する色を含むこと;によって、より効果的に達成される。
【0008】
また、本発明の上記目的は、自動撮影カメラシステムについて、外部からの制御信号により撮影方向を含むカメラ操作の制御が可能な撮影用カメラの駆動制御により撮影対象の被写体を自動追尾して撮影する自動撮影カメラシステムであって、該自動撮影カメラシステムは、カメラ操作者の視野に相当する広角画像を撮影する第1及び第2のセンサカメラと、前記撮影対象の被写体を自動追尾して撮影する前記撮影用カメラと、前記撮影対象の被写体に関する計測情報を出力する、A/D変換手段と被写体認識部と3次元座標計測部とから構成される3次元位置計測手段と、前記3次元位置計測手段からの前記計測情報を基に、前記撮影対象の被写体の動きを解析し、その動きに応じて前記撮影用カメラのカメラワークを制御するデータ解析手段と、前記データ解析手段からの駆動制御データに従って、前記撮影用カメラの駆動制御を行う駆動制御手段とを備え、
前記第1及び第2のセンサカメラで撮影された映像信号は、前記3次元位置計測手段に入力され、前記A/D変換手段を介してデジタル化され、デジタル化された画像データは前記被写体認識部に出力され、前記被写体認識部は、入力された前記デジタル化された画像データを色抽出に適したHSI系の色空間への変換処理を行なう色空間変換手段と、前記撮影対象の被写体の表面部を構成する複数の色を抽出色として設定する色設定手段と、前記センサカメラの広角画像から前記抽出色に該当する各色の画像部の画像データを抽出する色抽出手段とから構成され、かつ、前記3次元座標計測部は、前記撮影対象の被写体の中心位置を演算する座標計算手段と、前記座標計算手段で得られた前記中心位置と前記センサカメラ及び前記撮影用カメラの位置情報とから、前記撮影用カメラの視点を原点とした前記撮影対象の被写体の3次元座標を算出し、算出した3次元座標及び前記撮影対象の被写体の大きさを示す情報を計測情報として前記データ解析手段に出力する3次元座標演算手段とから構成されており、
さらに、前記データ解析手段は、前記カメラワークの制御モードを複数持ち、各制御モードを撮影中の状況の変化に応じてダイナミックに切替えることによって達成される。
【0009】
【発明の実施の形態】
本発明では、カメラ操作者の眼に相当するセンサカメラにより撮影した広角映像の中から撮影すべき被写体を自動認識すると共に、3次元空間内での被写体の位置を計測し、被写体の動きに応じて撮影用カメラを駆動制御することで、被写体の自動撮影を行なうようにしている。そして、被写体の認識方法としては、被写体の表面部を構成する複数の色を認識要素とし、抽出色として予め設定しておき、センサカメラの広角画像から抽出色全て又は抽出色の中から予め指定した指定色に該当する各色の画像部を抽出し、複数色の抽出部の画像情報に基づいて撮影対象の被写体を認識するようにしている。また、抽出色又はその指定色に該当し、且つ互いの位置関係の条件を満たす各色の画像部を抽出することで、更に安定した認識ができるようにしている。さらに、抽出色又はその指定色の混色を含めて該当する各色の画像部を抽出することで、基本色を設定しておくだけで、環境条件の変化に伴う色の変化に対応できるようにしている。
【0010】
以下、図面に基づいて本発明の好適な実施形態について詳細に説明する。まず、本発明に係わる自動撮影カメラシステムの全体構成について具体例を示して説明する。
【0011】
図1は本発明に係わる自動撮影カメラシステムの概略構成を示しており、3次元空間を移動する被写体を捕らえるための2台のカメラ100(以下、「センサカメラ」と呼ぶ)と1台の撮影用カメラ200を備えたシステムの例を示している。センサカメラ100は、カメラ操作者の両眼に相当するカメラであり、同図のように撮影対象の被写体1を含む広角映像を撮影する。このセンサカメラ100は、被写体の3次元位置(3次元座標)を三角測量の原理で求めるために2台用いる。例えば、センサカメラ100の視野領域を越えて移動する被写体1を追尾して撮影する場合には、複数のセンサカメラ100が使用され、その場合には撮影範囲(計測範囲)が分割されてそれぞれ所定の位置に2台ずつ配置される。撮影用カメラ200は、外部からの制御信号によりカメラのパン,チルト,ズーム,フォーカス等の調整が可能な駆動機構部(雲台)210と撮像部220とが一体的に構成されたカメラであり、パン軸及びチルト軸の回動制御により真下を除くほぼ全域の空間が撮影できるようになっている。
【0012】
3次元位置計測装置300は、センサカメラ100の撮影された広角画像VD1a(VD1b)内の静止体又は移動体の中から撮影対象の被写体1を、後述する認識方法にって認識すると共に、被写体1の現在位置を逐次計測する装置であり、撮影用カメラ200の視点を原点とした三次元空間内での被写体1の現在位置(3次元座標情報),被写体1の大きさを示す情報(画像抽出部分の面積情報)等を計測情報PDとして出力する。この計測情報PDは入出力インタフェースを介してデータ解析装置500に入力される。
【0013】
データ解析装置500は、3次元位置計測装置300からの計測情報PDを基に被写体1の動きを解析し、被写体1の動きに応じて撮影用カメラ200のカメラワークを制御する装置であり、駆動制御部400を介して駆動信号MSを送出し、撮影用カメラ200のカメラワークを制御する。すなわち、データ解析装置500では、3次元位置計測装置300の計測情報PDに基づいて被写体1の現在位置を認識する共に、被写体1の動き(各時点の位置,方位角,加速度等)を解析して次の瞬間の動きを予測し、この予測情報と現時点の撮影用カメラ200の向きを示す情報等に基づいて撮影用カメラ200のパン,チルト角度偏差及びズーム等の調整量を演算し、駆動制御データ(速度指令)Vcomを出力して被写体1の次の動作位置へと撮影用カメラ200を駆動制御することで、被写体1を自動追尾して撮影するようにしている。
【0014】
また、データ解析装置500は、カメラワークの制御モードを複数持ち、各制御モードを撮影中の状況の変化に応じてダイナミックに切替える機能を備えており、状況に応じた最適なカメラワークで撮影することができるようにしている。
例えば、被写体の3次元空間内の位置に応じて視野の大きさを変化させたり、被写体の速度に応じて画面内の被写体位置を変動させたり、時間帯に応じてアイリスの調整量を切替えたりというように、カメラワークの制御モードをダイナミックに切替えて撮影することができるようにしている。また、運動競技や自動車競技等、被写体が移動するコースが予め決まっている場合には、カメラワークの制御モードが異なる撮影区域(例えば、スキーのジャンプ競技のスタート地点→ジャンプ地点→着地地点等)ごとにカメラワークの制御パラメータをそれぞれ設定しておき、撮影空間内の被写体の位置に応じて制御パラメータを自動的に切替えることで、撮影区域に応じた最適なカメラワークで撮影することができるようにしている。
【0015】
図2は、上述の自動撮影システムにおけるセンサカメラ100と撮影用カメラ200の配置構成の一例を示しており、同図に示すようなスキーのジャンプ競技を撮影する場合、被写体である選手1が移動する領域は、スタート地点からジャンプ台の先端のジャンプ地点までの助走路の領域部2a,ジャンプしてから着地地点までの領域部2b,及び着地地点から静止するまでのスロープの領域部2cであり、それぞれの移動領域部が撮影領域部(3次元空間領域)となる。本システムでは全領域を自動撮影の対象とすることができるが、図2では便宜上、ジャンプ中の空間領域部2bの一部を自動撮影の対象とし、センサカメラ100の視野領域を2つの計測範囲1及び2に分割し、センサカメラ101(101A,101B)で計測範囲1の3次元計測を担当し、センサカメラ102(102A,102B)で計測範囲2の3次元計測を担当するようにした場合の配置構成の例を示している。
【0016】
ここで、センサカメラ101とセンサカメラ102は、それぞれ1台でも被写体の3次元位置(3次元座標)を求めることが可能だが、その場合、例えば2点間を移動したときの被写体1の移動量及び大きさの変化量の検出値に基づいて被写体1の位置を示す3次元座標を算出することになり、計測時点ごとに3次元座標を求めることができず、リアルタイムに計測情報を提供できないという欠点がある。そのため、上記の点や計測装置の処理負荷の点では、本例のように1計測範囲に2台のセンサカメラを用いる形態の方が好ましい。
【0017】
図3は、本発明を実現する装置の一例を示しており、上述の自動撮影カメラシステムでは、3次元位置計測装置300内で被写体の認識及び3次元位置の計測を行なうようになっている。図3において、センサカメラ100(101A,101B、102A,102B)は、図2の構成例のように計測範囲毎に2台ずつ設置される。それぞれのセンサカメラ100で撮影された映像信号VD1(VD1a,VD1b、VD2a,VD2b)は3次元位置計測装置300に入力され、A/D変換部301を介してデジタル化される。デジタル化された画像データは、被写体認識部310内の色空間変換回路311に送出される。
【0018】
被写体認識部310は、デジタル化された画像データ(R,G,B)を受け、それを色抽出に適したHSI系の色空間への変換処理を行なう色空間変換回路311と、被写体1の表面部を構成する複数の色を抽出色として設定するための色設定回路313と、センサカメラの広角画像から抽出色(又はその指定色)に該当する各色の画像部の画像データを抽出する色抽出回路312とから構成され、センサカメラ100の広角画像から当該色の画像部を抽出する。色の抽出方法の詳細については後述するものとし、ここでは、色抽出回路312の基本の動作例を説明する。色抽出回路312では、デジタル化した1フレーム分の2次元座標系の画像データから撮影対象の被写体1を認識する。被写体1の認識は、例えば画像データの各画素の色情報(H,S,I)と、被写体認識データとして色設定回路313で設定された抽出色(又はその数値で設定された指定色)のそれぞれの閾値(H,S,Iの範囲:下限の閾値〜上限の閾値)とを比較し、閾値内を “1”,範囲外を“0”として画素単位に2値化する。その際、2次元座標系 (X,Y座標系)にて連続する当該色の画素を抽出して計数し、計数値を面積Sとする。そして当該色の部分が複数存在する場合には、例えば、面積Sの大きい部分を撮影対象の被写体1と認識する。ここで、上記の抽出処理は、当該計測範囲を撮像する2台のセンサカメラ100の画像データVD1a,VD1bに対してそれぞれ行なわれる。
【0019】
3次元座標計測部320内の座標計算回路321では、被写体認識部310で求めた面積Sから、抽出部分の重心位置を演算して被写体1の中心位置C(x,y)とする。この中心位置は、2台のセンサカメラ100の画像データVD1a,VD1bからそれぞれ演算する。3次元座標演算回路322では、2つの中心位置C1(x,y)及びC2(x,y)と、センサカメラ100及び撮影用カメラ200の位置情報とから、被写体1の3次元空間内の位置(撮影用カメラ200の視点を原点とした被写体1の3次元座標)を三角測量の原理で算出し、算出した3次元位置情報C(x,y,z),及び被写体1の大きさを示す情報(上記の面積S)を計測情報PDとして出力する。この計測情報PDは、データ解析装置500に入力される。
【0020】
次に、上述のような自動撮影カメラシステムにおける被写体の認識方法を、具体例を示して詳細に説明する。以下、次に示す第1〜第3の実施形態に分けてそれぞれ説明する。
【0021】
第1の実施形態では、撮影対象の被写体の表面部を構成する複数の色を、例えば撮影条件によって変わる色を含めて抽出色として予め設定しておき、センサカメラ100の広角画像から上記抽出色又はその指定色に該当する各色の画像部を抽出するようにしている。すなわち、複数の色の組合わせによって撮影対象の被写体を認識するようにしている。また、第2の実施形態では、aの色の近傍にbの色が存在する等、複数の色の位置関係によって撮影対象の被写体を認識するようにしている。さらに、第3の実施形態では、設定されている抽出色とその混色を対象として抽出することで、天候,倍率等の撮像条件によって変化する色を考慮して認識するようにしている。この場合、混色を予め抽出色として設定しなくても、自動的に(或いは指令することで)抽出対象となる。
【0022】
先ず、第1の実施形態について説明する。例えば撮影対象がスキー選手の場合には、スキー選手が着用しているユニホームを認識対象とすることができる。すなわち、複数の色で構成されるユニホームの色をそれぞれ認識することにより、撮影対象の被写体を認識することができる。ところで、スキーの競技のように野外で被写体を撮影する場合には、日光が当たっている部分と影の部分では色が異なる場合が多い。また、室内での撮影でも同様に、照明が当たっている部分と影の部分では色が異なる場合が多い。そこで、本発明では光の照射条件によって異なるそれぞれの色を別々に設定しておき、その論理和をとることで抽出部を影の部分まで対象とすることで、安定した認識が行なえるようにしている。
【0023】
図4は、上部と下部で色が異なるユニホーム(認識対象部)10の例を示している。例えば同図のように、カメラの視線に対してスキー選手が右斜め前方に向いており、スキー選手1の後方側(図中の矢印R方向)から光が当たっている状態では、ユニホーム10の上部で日なたのA色と日陰のB色の部分、さらにユニホーム10の下部で日なたのC色と日陰のD色の部分が生じる。本例では、日なたの2色A,Cと、日陰の2色B,Dの合計4色の部分が認識対象の領域となる。この場合、図5に示すように、それぞれの色を色設定回路313の設定手段によって設定してテーブル等に登録しておき、画像抽出時に当該色の部分を抽出し、認識用データとして出力する。また、図5の例のように、色を示す情報と共に属性情報(日なたの色,日陰の色,位置関係等)を設定しておくことで、モード指定(例えば、夕焼け,晴れ,曇り等のモード指定)等により、当該モードに属する色を抽出対象として処理できるようになる。例えば、後述する第1の色抽出回路の例のように、想定されるn個(n≧2)の色の組合わせのパターンの中からm個(m≧1)のパターンを選択して抽出できるように構成することによって、汎用的なものとすることができる。
【0024】
図6は、従来の色抽出方法による抽出結果を同図(A)、本発明の色抽出方法による抽出結果を同図(B)に示しており、一般的な色抽出方法では、図4のユニホーム10を認識対象とした場合、A色などの1色の部分だけしか抽出できなかったが、本発明では、撮影条件によって色が変化してもユニホーム10の全体を抽出することができ、安定した被写体の認識と3次元位置の計測ができるようになる。
【0025】
図7は、第1の実施形態に用いる色抽出回路(第1の色抽出回路:以下、「抽出色論理和回路」と呼ぶ)の一例を示しており、抽出色論理和回路312aは、画像信号とともに色設定回路313で設定された抽出色(A,B,C,D)の信号を入力し、制御信号(a,b,c,d)CS1による指令色(A,B,C,Dの組合わせ)に該当する色の画像データを出力するように構成されている。ここでは、説明を簡単にするために、4色(A,B,C,D)の組合わせパターンの中から制御信号CS1によって指定された1個のパターンを選択して出力するようにした回路例を示している。制御信号CS1の各ビット(a,b,c,d)はそれぞれの抽出色(A,B,C,D)に対応しており、図8に示すように、“1”が抽出対象で、“0”が抽出対象外として指定される。例えば、図4の認識対象(ユニホーム10)の例において、日陰の色を含めずに抽出する場合は、それらの色に対応する各ビットの値を“1”(この場合はA色,C色なので“1010”)とした制御信号CS1が抽出色論理和回路312aに入力される。抽出色論理和回路312aでは、制御信号CS1の値に応じて抽出色の論理和をとり、該当色(A+C)の画像抽出データを出力する。
【0026】
次に、第2の実施形態について説明する。第2の実施形態では、センサカメラ100の広角画像から、互いの位置関係の条件(例えば、位置関係が近いもの、或いは、図5のように位置関係を示す属性情報で、上下,左右等の位置関係が該当するもの)を満たす色の画像部を抽出して認識対象とするようにしている。ここでは、説明を簡単にするために、2色の位置関係が近いものだけを認識対象とする場合を例として説明する。例えば、図9(A)に示すように、認識対象10がA色の部分10aとB色の部分10bとで構成され、認識対象10の周辺に、認識対象外のA色の物体11aとB色の物体11bが存在している場合を例とする。本例では、A色(B色)の周辺にB色(A色)があるか否かを検出するために、抽出した各色A,Bの領域を倍率k(kは、位置関係の近さを求めるための倍率)でそれぞれ拡大し、拡大した領域内に他の色があれば、他の色の領域の拡大範囲内の部位を有効部位とし、有効部位の画像データを出力するようにしている。
【0027】
この処理は設定された各色毎に行なわれ、図9(A)の例では,同図(B)及び(C)に示すように、A色の物体11aとB色の物体11bの拡大範囲(図中の破線部)内には他の色が存在しないので画像データは出力されない。一方、図9(B)に示すように、A色の物体10aの拡大範囲内にはB色の部位が存在するので、拡大範囲内のB色の部位の画像データを出力する。他方、図9(C)に示すように、B色の物体10bの拡大範囲内にはA色の部位が存在するので、拡大範囲内のA色の部位の画像データを出力する。そして、その論理和をとり、図9(D)に示すように、A+Bの有効部位の画像データを色抽出データとして出力する。このような色抽出方法をとることにより、ユニホームの模様のように複数の色で構成される認識対象10のみを抽出することができ、背景にじゃまなものがあっても影響を受けずに被写体を認識することができるようになる。
【0028】
図10は、上記の色抽出方法を実現する回路、すなわち、複数の色の位置関係が近いものを抽出して出力する色抽出回路(第2の色抽出回路:以下、「近傍色抽出回路」と呼ぶ)の一例を示しており、ここでは、説明を簡単にするために、位置関係が近い2色で構成される認識対象の色データを抽出して出力するようにした回路の例を示している。この場合、色設定回路313の設定手段によって、抽出対象のA色,B色と、各色の領域の周辺領域を示す値すなわち上記の倍率kとが、色抽出パラメータとしてテーブル等に登録されている。
【0029】
図10において、近傍色抽出回路312bは、抽出色A(B)の画像データを入力し、抽出色A(B)の範囲を倍率kで拡大してその拡大範囲のデータ(オール“1”)を出力する拡大回路1a(1b)と、抽出色A(B)の画像データを入力し、拡大回路1b(1a)での処理時間に相当する時間分遅延させて抽出色A(B)の画像データを出力(但し、画像データの入力がない場合は“0”を出力)する遅延回路2a(2b)と、拡大回路1a(1b)と他方の遅延回路2b(2a)の出力データを入力して論理積を出力するAND回路3a(3b)と、AND回路3a,3bの出力の論理和をとって出力するOR回路4とから構成される。
【0030】
このような構成において、その動作例を説明する。画像データは、抽出色論理和回路312aと同様の手法により予め抽出色ごとに領域抽出しておく。抽出色Aのデータ(座標情報)は拡大回路1aに入力され、色抽出パラメータで指定されている倍率kで抽出色Aの領域が拡大回路1aによって拡大され、その拡大範囲のデータ(オール“1”)がAND回路3aに入力される。一方、抽出色Bのデータは拡大回路1bに入力され、同様に倍率kで抽出色Bの領域が拡大回路1bによって拡大され、その拡大範囲のデータがAND回路3bに入力される。他方、遅延回路2aに入力された抽出色Aのデータは、拡大回路1bでの拡大処理の動作終了時点まで保持された後、AND回路3bに入力される。また、遅延回路2bに入力された抽出色Bのデータは、拡大回路1aでの拡大処理の動作終了時点まで保持された後、AND回路3aに入力される。
【0031】
AND回路3aに入力された拡大回路1aと遅延回路2bの各出力データは論理積がとられ、真の場合、すなわち抽出色Bのデータが存在する場合、遅延回路2bの出力データがOR回路4に入力される。同様にAND回路3bによって、拡大回路1bと遅延回路2aの出力データの論理積がとられ、真の場合、遅延回路2aの出力データがOR回路4に入力される。そして、OR回路4によってAND回路3a,3bの出力の論理和がとられ、本例では、A+Bの有効部位の画像データが色抽出データとして出力される。
【0032】
次に、第3の実施形態について説明する。第3の実施形態では、設定されている抽出色とその混色を対象として抽出することで、天候,倍率等の撮像条件によって変化する色を考慮して認識するようにしている。例えば認識対象の色が赤の場合、雪が降っているときに見える色はピンクになるというように、認識対象として設定されている色をそのまま用いると、被写体を認識できないケースが生じる。第1又は第2の実施形態において、混色であるピンクを抽出色として設定している場合は問題ないが、設定処理が繁雑となる。そこで、第3の実施形態では、設定されている抽出色をA,B,C,Dとした場合、抽出色A,B,C,D(又はその指定色)及びその混色C1〜Cn(A,B,C,Dの2〜4色の組合わせ)を自動的に抽出対象とし(あるいは自動設定によりテーブル等に追加設定し)、その混色をA,B,C1〜Cnを認識対象の色とするようにしている。
【0033】
また、外部からの制御信号により混色の組合わせのパターンの中から任意のパターンを選択指定できるように構成することで、変化したと推定される色だけを自動的に指定して抽出することが可能となる。例えば、色抽出時の倍率や時刻に応じて認識対象C1〜Cnの中から抽出色を選択して決定し、そのパターンの制御信号を色抽出回路に送出することで、当該色だけが抽出されることになる。
【0034】
図11は、上記の色抽出方法を実現する回路、すなわち、設定されている抽出色(又はその指定色)とその混色(又はその指定色)を対象として抽出し、当該色の画像データを出力する色抽出回路(第3の色抽出回路:以下、「抽出色/混色抽出回路」と呼ぶ)の一例を示している。図11において、抽出色/混色抽出回路312cは、画像信号とともに色設定回路313で設定された抽出色(A,B,C,D)の信号を入力し、制御信号(a,b,c,d)による指令色(A,B,C,Dの組合わせ)に該当する色の画像データを出力するように構成されている。例えば、制御信号CS1のa,b,cの各ビットがオンで、制御信号CS2のma,mcの各ビットがオンであれば、A,B,Cの各色、及びA,Cの混色に該当する色の画像データが出力されるようになっている。なお、混色の度合いを指令できるようにしても良い。ここで、A色とB色の混色とは、どういうものかを説明する。A色をHSI系の値で(HA ,SA ,IA )とする。B色をHSI系の値で(HB ,SB ,IB )とする。このとき、A色とB色の混色(HC ,SC ,IC )は、HC =pHA +(1−p)HB ,SC =pSA +(1−p)SB ,IC =pIA +(1−p)IB となり、0≦p≦1とする。このpを、度合いを表わす値と呼ぶ。これは、2色のHSI色空間での内分点を混色としているが、実施の混色をカメラで計測して、テーブルを作成して独自の非線形内分方程式を作成しても良い。
【0035】
なお、上述した実施の形態においては、センサカメラを備えた自動撮影カメラシステムに適用した場合を例として説明したが、撮影用カメラだけを用いて対象を追尾するシステム等、一般的なシステムにおける被写体の認識方法として本発明を適用することができる。
【0036】
【発明の効果】
以上に説明したように、本発明の自動撮影カメラシステムにおける被写体の認識方法によれば、被写体の表面部を構成する複数の色を認識要素とし抽出色として予め設定しておき、センサカメラの広角画像から抽出色又はその指定色に該当する各色の画像部を抽出し、複数色の抽出部の画像情報に基づいて撮影対象の被写体を認識するようにしているので、自動認識の適用範囲が広くなり、また、従来の方法に比べて認識対象部を大きくすることが可能となり、安定した認識ができるようになる。また、天候,倍率,時刻など、撮影条件によって変化する色を含めて抽出色の対象とすることができるので、天候等の撮影条件によらずに安定して認識することができるようになる。また、抽出色又はその指定色に該当し、且つ互いの位置関係の条件を満たす各色の画像部を抽出することで、更に安定した認識ができるようにしている。さらに、抽出色(又はその指定色)及びその混色(又はその混色)を含めて該当する各色の画像部を抽出することで、基本色を設定しておくだけで、撮影条件の変化に伴う色の変化に対応できるようになる。
【図面の簡単な説明】
【図1】本発明に係わる自動撮影カメラシステムの概略の構成例を示すブロック図である。
【図2】図1のセンサカメラ100と撮影用カメラ200の配置構成の一例を示す図である。
【図3】本発明を実現する装置の一例を示すブロック図である。
【図4】本発明における認識対象の一例を示す図である。
【図5】本発明における認識対象を構成する色の設定例を説明するための図である。
【図6】本発明の第1に実施形態と従来技術との色抽出方法の相違を説明するための図である。
【図7】本発明の第1の実施形態における色抽出回路の構成例を示す図である。
【図8】図7の色抽出回路の動作例を説明するための図である。
【図9】本発明の第2の実施形態を説明するための図である。
【図10】本発明の第2の実施形態における色抽出回路の構成例を示す図である。
【図11】本発明の第3の実施形態における色抽出回路の構成例を示す図である。
【符号の説明】
1 被写体
10 認識対象部
100 センサカメラ
200 撮影用カメラ
210 駆動機構部(雲台)
220 撮像部
300 3次元位置計測装置
310 被写体認識部
311 色空間変換回路
312 色抽出回路
312a 抽出色論理和回路
312b 近傍色抽出回路
312c 抽出色/混色抽出回路
313 色設定回路
320 3次元座標計測部
321 座標計算回路
322 3次元座標演算回路
400 駆動制御部
500 データ解析装置
Claims (6)
- 広角画像を撮影するセンサカメラの撮影画像内の静止体又は移動体の中から撮影対象の被写体を認識し、外部からの制御信号により撮影方向を含むカメラ操作の制御が可能な撮影用カメラを駆動制御して前記被写体の自動追尾による撮影を行なう自動撮影カメラシステムにおける被写体の認識方法において、前記被写体の表面部を構成する複数の色を抽出色として予め設定しておき、前記センサカメラの広角画像から前記抽出色又はその指定色に該当する各色の画像部を抽出し、抽出部の画像情報に基づいて前記撮影対象の被写体を認識するようにしたことを特徴とする自動撮影カメラシステムにおける被写体の認識方法。
- 広角画像を撮影するセンサカメラの撮影画像内の静止体又は移動体の中から撮影対象の被写体を認識し、外部からの制御信号により撮影方向を含むカメラ操作の制御が可能な撮影用カメラを駆動制御して前記被写体の自動追尾による撮影を行なう自動撮影カメラシステムにおける被写体の認識方法において、前記被写体の表面部を構成する複数の色を抽出色として予め設定しておき、前記センサカメラの広角画像から前記抽出色又はその指定色に該当し、且つ互いの位置関係の条件を満たす各色の画像部を抽出し、抽出部の画像情報に基づいて前記撮影対象の被写体を認識するようにしたことを特徴とする自動撮影カメラシステムにおける被写体の認識方法。
- 前記位置関係の条件が、前記該当する当該色の画像部を所定の倍率で拡大し、拡大部の範囲内に他の該当する色の画像部が含まれるか否かの条件である請求項2に記載の自動撮影カメラシステムにおける被写体の認識方法。
- 広角画像を撮影するセンサカメラの撮影画像内の静止体又は移動体の中から撮影対象の被写体を認識し、外部からの制御信号により撮影方向を含むカメラ操作の制御が可能な撮影用カメラを駆動制御して前記被写体の自動追尾による撮影を行なう自動撮影カメラシステムにおける被写体の認識方法において、前記被写体の表面部を構成する複数の色を抽出色として予め設定しておき、前記センサカメラの広角画像から前記抽出色及びその混色又は前記抽出色の指定色及びその混色に該当する各色の画像部を抽出し、抽出部の画像情報に基づいて前記撮影対象の被写体を認識するようにしたことを特徴とする自動撮影カメラシステムにおける被写体の認識方法。
- 前記設定されている色が、撮影条件によって変化する色を含む請求項1乃至請求項4のいずれか一項に記載の自動撮影カメラシステムにおける被写体の認識方法。
- 外部からの制御信号により撮影方向を含むカメラ操作の制御が可能な撮影用カメラの駆動制御により撮影対象の被写体を自動追尾して撮影する自動撮影カメラシステムであって、該自動撮影カメラシステムは、
カメラ操作者の視野に相当する広角画像を撮影する第1及び第2のセンサカメラと、
前記撮影対象の被写体を自動追尾して撮影する前記撮影用カメラと、
前記撮影対象の被写体に関する計測情報を出力する、A/D変換手段と被写体認識部と3次元座標計測部とから構成される3次元位置計測手段と、
前記3次元位置計測手段からの前記計測情報を基に、前記撮影対象の被写体の動きを解析し、その動きに応じて前記撮影用カメラのカメラワークを制御するデータ解析手段と、
前記データ解析手段からの駆動制御データに従って、前記撮影用カメラの駆動制御を行う駆動制御手段とを備え、
前記第1及び第2のセンサカメラで撮影された映像信号は、前記3次元位置計測手段に入力され、前記A/D変換手段を介してデジタル化され、デジタル化された画像データは前記被写体認識部に出力され、
前記被写体認識部は、入力された前記デジタル化された画像データを色抽出に適したHSI系の色空間への変換処理を行なう色空間変換手段と、前記撮影対象の被写体の表面部を構成する複数の色を抽出色として設定する色設定手段と、前記センサカメラの広角画像から前記抽出色に該当する各色の画像部の画像データを抽出する色抽出手段とから構成され、かつ、
前記3次元座標計測部は、前記撮影対象の被写体の中心位置を演算する座標計算手段と、前記座標計算手段で得られた前記中心位置と前記センサカメラ及び前記撮影用カメラの位置情報とから、前記撮影用カメラの視点を原点とした前記撮影対象の被写体の3次元座標を算出し、算出した3次元座標及び前記撮影対象の被写体の大きさを示す情報を計測情報として前記データ解析手段に出力する3次元座標演算手段とから構成されており、
さらに、前記データ解析手段は、前記カメラワークの制御モードを複数持ち、各制御モードを撮影中の状況の変化に応じてダイナミックに切替えることを特徴とする自動撮影カメラシステム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP15313796A JP3704201B2 (ja) | 1996-05-24 | 1996-05-24 | 自動撮影カメラシステム及びそのシステムにおける被写体の認識方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP15313796A JP3704201B2 (ja) | 1996-05-24 | 1996-05-24 | 自動撮影カメラシステム及びそのシステムにおける被写体の認識方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH09322178A JPH09322178A (ja) | 1997-12-12 |
JP3704201B2 true JP3704201B2 (ja) | 2005-10-12 |
Family
ID=15555823
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP15313796A Expired - Fee Related JP3704201B2 (ja) | 1996-05-24 | 1996-05-24 | 自動撮影カメラシステム及びそのシステムにおける被写体の認識方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3704201B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4495606B2 (ja) * | 2005-01-19 | 2010-07-07 | 日本放送協会 | 色識別装置及び色識別プログラム |
JP5173915B2 (ja) | 2009-04-08 | 2013-04-03 | 三洋電機株式会社 | 画像処理装置及び撮像装置 |
JP6789676B2 (ja) * | 2015-06-11 | 2020-11-25 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム |
-
1996
- 1996-05-24 JP JP15313796A patent/JP3704201B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH09322178A (ja) | 1997-12-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3298072B2 (ja) | ビデオカメラシステム | |
CN109151439B (zh) | 一种基于视觉的自动追踪拍摄系统及方法 | |
US10728459B2 (en) | System and method for tracking moving objects in a scene | |
CN103716594B (zh) | 基于运动目标检测的全景拼接联动方法及装置 | |
JP4451122B2 (ja) | ビデオ追跡システム及び方法 | |
JP4568009B2 (ja) | カメラ連携による監視装置 | |
EP2284814A1 (en) | Systems and methods for night time surveillance | |
WO2012023766A2 (ko) | 열화상 좌표를 이용한 보안용 카메라 추적 감시 시스템 및 방법 | |
CN101072332A (zh) | 一种自动跟踪活动目标进行拍摄的方法 | |
CN101494735B (zh) | 摄像装置、摄像装置控制方法 | |
JP3615868B2 (ja) | 自動撮影カメラシステム | |
JP3704201B2 (ja) | 自動撮影カメラシステム及びそのシステムにおける被写体の認識方法 | |
JP3615867B2 (ja) | 自動撮影カメラシステム | |
JPH0582786B2 (ja) | ||
JPH09322053A (ja) | 自動撮影カメラシステムにおける被写体の撮影方法。 | |
JPH10294890A (ja) | 自動/手動撮影カメラシステム | |
JP3393969B2 (ja) | 自動撮影カメラシステムにおける被写体の認識方法および装置 | |
JP2001285849A (ja) | 撮影システム | |
JPH09322048A (ja) | 自動撮影カメラシステム | |
JPH0837615A (ja) | 移動体撮影装置 | |
JP4846203B2 (ja) | 画像領域設定装置及び画像領域設定方法 | |
JP2005024971A (ja) | 撮影システム、照明システム、及び照明条件設定方法 | |
JPH07154666A (ja) | ビデオカメラ | |
JPH07140222A (ja) | 目標捕捉方式 | |
JP2001145090A (ja) | 監視装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050222 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050315 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050513 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050712 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050722 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090729 Year of fee payment: 4 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090729 Year of fee payment: 4 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090729 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100729 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110729 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120729 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120729 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130729 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140729 Year of fee payment: 9 |
|
LAPS | Cancellation because of no payment of annual fees |