JP3704201B2 - 自動撮影カメラシステム及びそのシステムにおける被写体の認識方法 - Google Patents
自動撮影カメラシステム及びそのシステムにおける被写体の認識方法 Download PDFInfo
- Publication number
- JP3704201B2 JP3704201B2 JP15313796A JP15313796A JP3704201B2 JP 3704201 B2 JP3704201 B2 JP 3704201B2 JP 15313796 A JP15313796 A JP 15313796A JP 15313796 A JP15313796 A JP 15313796A JP 3704201 B2 JP3704201 B2 JP 3704201B2
- Authority
- JP
- Japan
- Prior art keywords
- color
- subject
- camera
- image
- photographing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Color Television Image Signal Generators (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、テレビカメラを使用して撮影した画像から撮影対象の被写体の３次元位置を計測し、その被写体を自動追尾して無人で撮影することができる自動撮影カメラシステム及びそのシステムにおける被写体の認識方法に関する。
【０００２】
【従来の技術】
従来、カメラ操作者が直接テレビジョンカメラを操作せず、被写体を自動追尾して撮影することができるようにしたカメラシステムでは、水平，垂直方向に回動可能で外部からの制御信号により制御可能な撮影用カメラを用い、被写体の動きに合わせて撮影用カメラを駆動制御するようにしている。被写体を認識する方法としては、例えば、被写体（あるいは被写体と共に移動する物体）に予め検知マークを付けておき、撮影画像を処理してその検知マークを認識する方法や、赤色など特定の色を被写体として認識する方法が採られている。そして、認識した被写体が画面の枠内の所定位置に位置するように撮影用カメラを駆動制御することで、被写体を追尾して撮影するようにしている。
【０００３】
【発明が解決しようとする課題】
しかしながら、予め検知マークを被写体に付けて認識する方法では、自動認識の適用範囲が狭く、また、認識対象が小さすぎるため安定した認識ができないという問題があった。一方、特定の一色を被写体として認識する方法では、同一色が存在する等、撮影対象を特定できないような場所には適用できないという問題があった。また、日光や照明が当たっている場所で撮影する場合には被写体に影の部分ができるので、認識対象となる色の部分が小さくなり、いずれの方法を採っても安定した認識ができないという問題があった。さらに、天候や倍率等の撮影条件によっては色が変化するため、被写体を認識できないケースが生じるという問題があった。例えば、認識対象の色が赤の場合、雪が降っているときに見える色はピンクになり、赤と白で構成された衣服では小さく映すとピンクになるというように、撮影条件によって色が変化してしまうため、認識不能となる場合があった。
【０００４】
本発明は上述のような事情から成されたものであり、本発明の目的は、自動追尾の対象である静止又は移動している被写体を、天候等の撮影条件によらずに安定して認識することができる自動撮影カメラシステム及びそのシステムにおける被写体の認識方法を提供することにある。
【０００５】
【課題を解決するための手段】
本発明は、広角画像を撮影するセンサカメラの撮影画像内の静止体又は移動体の中から撮影対象の被写体を認識し、外部からの制御信号により撮影方向を含むカメラ操作の制御が可能な撮影用カメラを駆動制御して前記被写体の自動追尾による撮影を行なう自動撮影カメラシステム及びそのシステムにおける被写体の認識方法に関するものであり、本発明の上記目的は、自動撮影カメラシステムにおける被写体の認識方法について、前記被写体の表面部を構成する複数の色を抽出色として予め設定しておき、前記センサカメラの広角画像から前記抽出色又はその指定色に該当する各色の画像部を抽出し、抽出部の画像情報に基づいて前記撮影対象の被写体を認識するようにすることによって達成される。
【０００６】
あるいは、前記被写体の表面部を構成する複数の色を抽出色として予め設定しておき、前記センサカメラの広角画像から前記抽出色又はその指定色に該当し、且つ互いの位置関係の条件を満たす各色の画像部を抽出し、抽出部の画像情報に基づいて前記撮影対象の被写体を認識することによって達成される。また、前記位置関係の条件が、前記該当する当該色部を所定の倍率で拡大し、拡大部の範囲内に他の該当する色部が含まれるか否かの条件であることによって、より効果的に達成される。
【０００７】
あるいは、前記被写体の表面部を構成する複数の色を抽出色として予め設定しておき、前記センサカメラの広角画像から前記抽出色及びその混色又は前記抽出色の指定色及びその混色に該当する各色の画像部を抽出し、抽出部の画像情報に基づいて前記撮影対象の被写体を認識することによって達成される。さらに、前記設定されている色が、撮影条件によって変化する色を含むこと；によって、より効果的に達成される。
【０００８】
また、本発明の上記目的は、自動撮影カメラシステムについて、外部からの制御信号により撮影方向を含むカメラ操作の制御が可能な撮影用カメラの駆動制御により撮影対象の被写体を自動追尾して撮影する自動撮影カメラシステムであって、該自動撮影カメラシステムは、カメラ操作者の視野に相当する広角画像を撮影する第１及び第２のセンサカメラと、前記撮影対象の被写体を自動追尾して撮影する前記撮影用カメラと、前記撮影対象の被写体に関する計測情報を出力する、Ａ／Ｄ変換手段と被写体認識部と３次元座標計測部とから構成される３次元位置計測手段と、前記３次元位置計測手段からの前記計測情報を基に、前記撮影対象の被写体の動きを解析し、その動きに応じて前記撮影用カメラのカメラワークを制御するデータ解析手段と、前記データ解析手段からの駆動制御データに従って、前記撮影用カメラの駆動制御を行う駆動制御手段とを備え、
前記第１及び第２のセンサカメラで撮影された映像信号は、前記３次元位置計測手段に入力され、前記Ａ／Ｄ変換手段を介してデジタル化され、デジタル化された画像データは前記被写体認識部に出力され、前記被写体認識部は、入力された前記デジタル化された画像データを色抽出に適したＨＳＩ系の色空間への変換処理を行なう色空間変換手段と、前記撮影対象の被写体の表面部を構成する複数の色を抽出色として設定する色設定手段と、前記センサカメラの広角画像から前記抽出色に該当する各色の画像部の画像データを抽出する色抽出手段とから構成され、かつ、前記３次元座標計測部は、前記撮影対象の被写体の中心位置を演算する座標計算手段と、前記座標計算手段で得られた前記中心位置と前記センサカメラ及び前記撮影用カメラの位置情報とから、前記撮影用カメラの視点を原点とした前記撮影対象の被写体の３次元座標を算出し、算出した３次元座標及び前記撮影対象の被写体の大きさを示す情報を計測情報として前記データ解析手段に出力する３次元座標演算手段とから構成されており、
さらに、前記データ解析手段は、前記カメラワークの制御モードを複数持ち、各制御モードを撮影中の状況の変化に応じてダイナミックに切替えることによって達成される。
【０００９】
【発明の実施の形態】
本発明では、カメラ操作者の眼に相当するセンサカメラにより撮影した広角映像の中から撮影すべき被写体を自動認識すると共に、３次元空間内での被写体の位置を計測し、被写体の動きに応じて撮影用カメラを駆動制御することで、被写体の自動撮影を行なうようにしている。そして、被写体の認識方法としては、被写体の表面部を構成する複数の色を認識要素とし、抽出色として予め設定しておき、センサカメラの広角画像から抽出色全て又は抽出色の中から予め指定した指定色に該当する各色の画像部を抽出し、複数色の抽出部の画像情報に基づいて撮影対象の被写体を認識するようにしている。また、抽出色又はその指定色に該当し、且つ互いの位置関係の条件を満たす各色の画像部を抽出することで、更に安定した認識ができるようにしている。さらに、抽出色又はその指定色の混色を含めて該当する各色の画像部を抽出することで、基本色を設定しておくだけで、環境条件の変化に伴う色の変化に対応できるようにしている。
【００１０】
以下、図面に基づいて本発明の好適な実施形態について詳細に説明する。まず、本発明に係わる自動撮影カメラシステムの全体構成について具体例を示して説明する。
【００１１】
図１は本発明に係わる自動撮影カメラシステムの概略構成を示しており、３次元空間を移動する被写体を捕らえるための２台のカメラ１００（以下、「センサカメラ」と呼ぶ）と１台の撮影用カメラ２００を備えたシステムの例を示している。センサカメラ１００は、カメラ操作者の両眼に相当するカメラであり、同図のように撮影対象の被写体１を含む広角映像を撮影する。このセンサカメラ１００は、被写体の３次元位置（３次元座標）を三角測量の原理で求めるために２台用いる。例えば、センサカメラ１００の視野領域を越えて移動する被写体１を追尾して撮影する場合には、複数のセンサカメラ１００が使用され、その場合には撮影範囲（計測範囲）が分割されてそれぞれ所定の位置に２台ずつ配置される。撮影用カメラ２００は、外部からの制御信号によりカメラのパン，チルト，ズーム，フォーカス等の調整が可能な駆動機構部（雲台）２１０と撮像部２２０とが一体的に構成されたカメラであり、パン軸及びチルト軸の回動制御により真下を除くほぼ全域の空間が撮影できるようになっている。
【００１２】
３次元位置計測装置３００は、センサカメラ１００の撮影された広角画像ＶＤ１ａ（ＶＤ１ｂ）内の静止体又は移動体の中から撮影対象の被写体１を、後述する認識方法にって認識すると共に、被写体１の現在位置を逐次計測する装置であり、撮影用カメラ２００の視点を原点とした三次元空間内での被写体１の現在位置（３次元座標情報），被写体１の大きさを示す情報（画像抽出部分の面積情報）等を計測情報ＰＤとして出力する。この計測情報ＰＤは入出力インタフェースを介してデータ解析装置５００に入力される。
【００１３】
データ解析装置５００は、３次元位置計測装置３００からの計測情報ＰＤを基に被写体１の動きを解析し、被写体１の動きに応じて撮影用カメラ２００のカメラワークを制御する装置であり、駆動制御部４００を介して駆動信号ＭＳを送出し、撮影用カメラ２００のカメラワークを制御する。すなわち、データ解析装置５００では、３次元位置計測装置３００の計測情報ＰＤに基づいて被写体１の現在位置を認識する共に、被写体１の動き（各時点の位置，方位角，加速度等）を解析して次の瞬間の動きを予測し、この予測情報と現時点の撮影用カメラ２００の向きを示す情報等に基づいて撮影用カメラ２００のパン，チルト角度偏差及びズーム等の調整量を演算し、駆動制御データ（速度指令）Ｖｃｏｍを出力して被写体１の次の動作位置へと撮影用カメラ２００を駆動制御することで、被写体１を自動追尾して撮影するようにしている。
【００１４】
また、データ解析装置５００は、カメラワークの制御モードを複数持ち、各制御モードを撮影中の状況の変化に応じてダイナミックに切替える機能を備えており、状況に応じた最適なカメラワークで撮影することができるようにしている。
例えば、被写体の３次元空間内の位置に応じて視野の大きさを変化させたり、被写体の速度に応じて画面内の被写体位置を変動させたり、時間帯に応じてアイリスの調整量を切替えたりというように、カメラワークの制御モードをダイナミックに切替えて撮影することができるようにしている。また、運動競技や自動車競技等、被写体が移動するコースが予め決まっている場合には、カメラワークの制御モードが異なる撮影区域（例えば、スキーのジャンプ競技のスタート地点→ジャンプ地点→着地地点等）ごとにカメラワークの制御パラメータをそれぞれ設定しておき、撮影空間内の被写体の位置に応じて制御パラメータを自動的に切替えることで、撮影区域に応じた最適なカメラワークで撮影することができるようにしている。
【００１５】
図２は、上述の自動撮影システムにおけるセンサカメラ１００と撮影用カメラ２００の配置構成の一例を示しており、同図に示すようなスキーのジャンプ競技を撮影する場合、被写体である選手１が移動する領域は、スタート地点からジャンプ台の先端のジャンプ地点までの助走路の領域部２ａ，ジャンプしてから着地地点までの領域部２ｂ，及び着地地点から静止するまでのスロープの領域部２ｃであり、それぞれの移動領域部が撮影領域部（３次元空間領域）となる。本システムでは全領域を自動撮影の対象とすることができるが、図２では便宜上、ジャンプ中の空間領域部２ｂの一部を自動撮影の対象とし、センサカメラ１００の視野領域を２つの計測範囲１及び２に分割し、センサカメラ１０１（１０１Ａ，１０１Ｂ）で計測範囲１の３次元計測を担当し、センサカメラ１０２（１０２Ａ，１０２Ｂ）で計測範囲２の３次元計測を担当するようにした場合の配置構成の例を示している。
【００１６】
ここで、センサカメラ１０１とセンサカメラ１０２は、それぞれ１台でも被写体の３次元位置（３次元座標）を求めることが可能だが、その場合、例えば２点間を移動したときの被写体１の移動量及び大きさの変化量の検出値に基づいて被写体１の位置を示す３次元座標を算出することになり、計測時点ごとに３次元座標を求めることができず、リアルタイムに計測情報を提供できないという欠点がある。そのため、上記の点や計測装置の処理負荷の点では、本例のように１計測範囲に２台のセンサカメラを用いる形態の方が好ましい。
【００１７】
図３は、本発明を実現する装置の一例を示しており、上述の自動撮影カメラシステムでは、３次元位置計測装置３００内で被写体の認識及び３次元位置の計測を行なうようになっている。図３において、センサカメラ１００（１０１Ａ，１０１Ｂ、１０２Ａ，１０２Ｂ）は、図２の構成例のように計測範囲毎に２台ずつ設置される。それぞれのセンサカメラ１００で撮影された映像信号ＶＤ１（ＶＤ１ａ，ＶＤ１ｂ、ＶＤ２ａ，ＶＤ２ｂ）は３次元位置計測装置３００に入力され、Ａ／Ｄ変換部３０１を介してデジタル化される。デジタル化された画像データは、被写体認識部３１０内の色空間変換回路３１１に送出される。
【００１８】
被写体認識部３１０は、デジタル化された画像データ（Ｒ，Ｇ，Ｂ）を受け、それを色抽出に適したＨＳＩ系の色空間への変換処理を行なう色空間変換回路３１１と、被写体１の表面部を構成する複数の色を抽出色として設定するための色設定回路３１３と、センサカメラの広角画像から抽出色（又はその指定色）に該当する各色の画像部の画像データを抽出する色抽出回路３１２とから構成され、センサカメラ１００の広角画像から当該色の画像部を抽出する。色の抽出方法の詳細については後述するものとし、ここでは、色抽出回路３１２の基本の動作例を説明する。色抽出回路３１２では、デジタル化した１フレーム分の２次元座標系の画像データから撮影対象の被写体１を認識する。被写体１の認識は、例えば画像データの各画素の色情報（Ｈ，Ｓ，Ｉ）と、被写体認識データとして色設定回路３１３で設定された抽出色（又はその数値で設定された指定色）のそれぞれの閾値（Ｈ，Ｓ，Ｉの範囲：下限の閾値〜上限の閾値）とを比較し、閾値内を “１”，範囲外を“０”として画素単位に２値化する。その際、２次元座標系 （Ｘ，Ｙ座標系）にて連続する当該色の画素を抽出して計数し、計数値を面積Ｓとする。そして当該色の部分が複数存在する場合には、例えば、面積Ｓの大きい部分を撮影対象の被写体１と認識する。ここで、上記の抽出処理は、当該計測範囲を撮像する２台のセンサカメラ１００の画像データＶＤ１ａ，ＶＤ１ｂに対してそれぞれ行なわれる。
【００１９】
３次元座標計測部３２０内の座標計算回路３２１では、被写体認識部３１０で求めた面積Ｓから、抽出部分の重心位置を演算して被写体１の中心位置Ｃ（ｘ，ｙ）とする。この中心位置は、２台のセンサカメラ１００の画像データＶＤ１ａ，ＶＤ１ｂからそれぞれ演算する。３次元座標演算回路３２２では、２つの中心位置Ｃ１（ｘ，ｙ）及びＣ２（ｘ，ｙ）と、センサカメラ１００及び撮影用カメラ２００の位置情報とから、被写体１の３次元空間内の位置（撮影用カメラ２００の視点を原点とした被写体１の３次元座標）を三角測量の原理で算出し、算出した３次元位置情報Ｃ（ｘ，ｙ，ｚ），及び被写体１の大きさを示す情報（上記の面積Ｓ）を計測情報ＰＤとして出力する。この計測情報ＰＤは、データ解析装置５００に入力される。
【００２０】
次に、上述のような自動撮影カメラシステムにおける被写体の認識方法を、具体例を示して詳細に説明する。以下、次に示す第１〜第３の実施形態に分けてそれぞれ説明する。
【００２１】
第１の実施形態では、撮影対象の被写体の表面部を構成する複数の色を、例えば撮影条件によって変わる色を含めて抽出色として予め設定しておき、センサカメラ１００の広角画像から上記抽出色又はその指定色に該当する各色の画像部を抽出するようにしている。すなわち、複数の色の組合わせによって撮影対象の被写体を認識するようにしている。また、第２の実施形態では、ａの色の近傍にｂの色が存在する等、複数の色の位置関係によって撮影対象の被写体を認識するようにしている。さらに、第３の実施形態では、設定されている抽出色とその混色を対象として抽出することで、天候，倍率等の撮像条件によって変化する色を考慮して認識するようにしている。この場合、混色を予め抽出色として設定しなくても、自動的に（或いは指令することで）抽出対象となる。
【００２２】
先ず、第１の実施形態について説明する。例えば撮影対象がスキー選手の場合には、スキー選手が着用しているユニホームを認識対象とすることができる。すなわち、複数の色で構成されるユニホームの色をそれぞれ認識することにより、撮影対象の被写体を認識することができる。ところで、スキーの競技のように野外で被写体を撮影する場合には、日光が当たっている部分と影の部分では色が異なる場合が多い。また、室内での撮影でも同様に、照明が当たっている部分と影の部分では色が異なる場合が多い。そこで、本発明では光の照射条件によって異なるそれぞれの色を別々に設定しておき、その論理和をとることで抽出部を影の部分まで対象とすることで、安定した認識が行なえるようにしている。
【００２３】
図４は、上部と下部で色が異なるユニホーム（認識対象部）１０の例を示している。例えば同図のように、カメラの視線に対してスキー選手が右斜め前方に向いており、スキー選手１の後方側（図中の矢印Ｒ方向）から光が当たっている状態では、ユニホーム１０の上部で日なたのＡ色と日陰のＢ色の部分、さらにユニホーム１０の下部で日なたのＣ色と日陰のＤ色の部分が生じる。本例では、日なたの２色Ａ，Ｃと、日陰の２色Ｂ，Ｄの合計４色の部分が認識対象の領域となる。この場合、図５に示すように、それぞれの色を色設定回路３１３の設定手段によって設定してテーブル等に登録しておき、画像抽出時に当該色の部分を抽出し、認識用データとして出力する。また、図５の例のように、色を示す情報と共に属性情報（日なたの色，日陰の色，位置関係等）を設定しておくことで、モード指定（例えば、夕焼け，晴れ，曇り等のモード指定）等により、当該モードに属する色を抽出対象として処理できるようになる。例えば、後述する第１の色抽出回路の例のように、想定されるｎ個（ｎ≧２）の色の組合わせのパターンの中からｍ個（ｍ≧１）のパターンを選択して抽出できるように構成することによって、汎用的なものとすることができる。
【００２４】
図６は、従来の色抽出方法による抽出結果を同図（Ａ）、本発明の色抽出方法による抽出結果を同図（Ｂ）に示しており、一般的な色抽出方法では、図４のユニホーム１０を認識対象とした場合、Ａ色などの１色の部分だけしか抽出できなかったが、本発明では、撮影条件によって色が変化してもユニホーム１０の全体を抽出することができ、安定した被写体の認識と３次元位置の計測ができるようになる。
【００２５】
図７は、第１の実施形態に用いる色抽出回路（第１の色抽出回路：以下、「抽出色論理和回路」と呼ぶ）の一例を示しており、抽出色論理和回路３１２ａは、画像信号とともに色設定回路３１３で設定された抽出色（Ａ，Ｂ，Ｃ，Ｄ）の信号を入力し、制御信号（ａ，ｂ，ｃ，ｄ）ＣＳ１による指令色（Ａ，Ｂ，Ｃ，Ｄの組合わせ）に該当する色の画像データを出力するように構成されている。ここでは、説明を簡単にするために、４色（Ａ，Ｂ，Ｃ，Ｄ）の組合わせパターンの中から制御信号ＣＳ１によって指定された１個のパターンを選択して出力するようにした回路例を示している。制御信号ＣＳ１の各ビット（ａ，ｂ，ｃ，ｄ）はそれぞれの抽出色（Ａ，Ｂ，Ｃ，Ｄ）に対応しており、図８に示すように、“１”が抽出対象で、“０”が抽出対象外として指定される。例えば、図４の認識対象（ユニホーム１０）の例において、日陰の色を含めずに抽出する場合は、それらの色に対応する各ビットの値を“１”（この場合はＡ色，Ｃ色なので“１０１０”）とした制御信号ＣＳ１が抽出色論理和回路３１２ａに入力される。抽出色論理和回路３１２ａでは、制御信号ＣＳ１の値に応じて抽出色の論理和をとり、該当色（Ａ＋Ｃ）の画像抽出データを出力する。
【００２６】
次に、第２の実施形態について説明する。第２の実施形態では、センサカメラ１００の広角画像から、互いの位置関係の条件（例えば、位置関係が近いもの、或いは、図５のように位置関係を示す属性情報で、上下，左右等の位置関係が該当するもの）を満たす色の画像部を抽出して認識対象とするようにしている。ここでは、説明を簡単にするために、２色の位置関係が近いものだけを認識対象とする場合を例として説明する。例えば、図９（Ａ）に示すように、認識対象１０がＡ色の部分１０ａとＢ色の部分１０ｂとで構成され、認識対象１０の周辺に、認識対象外のＡ色の物体１１ａとＢ色の物体１１ｂが存在している場合を例とする。本例では、Ａ色（Ｂ色）の周辺にＢ色（Ａ色）があるか否かを検出するために、抽出した各色Ａ，Ｂの領域を倍率ｋ（ｋは、位置関係の近さを求めるための倍率）でそれぞれ拡大し、拡大した領域内に他の色があれば、他の色の領域の拡大範囲内の部位を有効部位とし、有効部位の画像データを出力するようにしている。
【００２７】
この処理は設定された各色毎に行なわれ、図９（Ａ）の例では，同図（Ｂ）及び（Ｃ）に示すように、Ａ色の物体１１ａとＢ色の物体１１ｂの拡大範囲（図中の破線部）内には他の色が存在しないので画像データは出力されない。一方、図９（Ｂ）に示すように、Ａ色の物体１０ａの拡大範囲内にはＢ色の部位が存在するので、拡大範囲内のＢ色の部位の画像データを出力する。他方、図９（Ｃ）に示すように、Ｂ色の物体１０ｂの拡大範囲内にはＡ色の部位が存在するので、拡大範囲内のＡ色の部位の画像データを出力する。そして、その論理和をとり、図９（Ｄ）に示すように、Ａ＋Ｂの有効部位の画像データを色抽出データとして出力する。このような色抽出方法をとることにより、ユニホームの模様のように複数の色で構成される認識対象１０のみを抽出することができ、背景にじゃまなものがあっても影響を受けずに被写体を認識することができるようになる。
【００２８】
図１０は、上記の色抽出方法を実現する回路、すなわち、複数の色の位置関係が近いものを抽出して出力する色抽出回路（第２の色抽出回路：以下、「近傍色抽出回路」と呼ぶ）の一例を示しており、ここでは、説明を簡単にするために、位置関係が近い２色で構成される認識対象の色データを抽出して出力するようにした回路の例を示している。この場合、色設定回路３１３の設定手段によって、抽出対象のＡ色，Ｂ色と、各色の領域の周辺領域を示す値すなわち上記の倍率ｋとが、色抽出パラメータとしてテーブル等に登録されている。
【００２９】
図１０において、近傍色抽出回路３１２ｂは、抽出色Ａ（Ｂ）の画像データを入力し、抽出色Ａ（Ｂ）の範囲を倍率ｋで拡大してその拡大範囲のデータ（オール“１”）を出力する拡大回路１ａ（１ｂ）と、抽出色Ａ（Ｂ）の画像データを入力し、拡大回路１ｂ（１ａ）での処理時間に相当する時間分遅延させて抽出色Ａ（Ｂ）の画像データを出力（但し、画像データの入力がない場合は“０”を出力）する遅延回路２ａ（２ｂ）と、拡大回路１ａ（１ｂ）と他方の遅延回路２ｂ（２ａ）の出力データを入力して論理積を出力するＡＮＤ回路３ａ（３ｂ）と、ＡＮＤ回路３ａ，３ｂの出力の論理和をとって出力するＯＲ回路４とから構成される。
【００３０】
このような構成において、その動作例を説明する。画像データは、抽出色論理和回路３１２ａと同様の手法により予め抽出色ごとに領域抽出しておく。抽出色Ａのデータ（座標情報）は拡大回路１ａに入力され、色抽出パラメータで指定されている倍率ｋで抽出色Ａの領域が拡大回路１ａによって拡大され、その拡大範囲のデータ（オール“１”）がＡＮＤ回路３ａに入力される。一方、抽出色Ｂのデータは拡大回路１ｂに入力され、同様に倍率ｋで抽出色Ｂの領域が拡大回路１ｂによって拡大され、その拡大範囲のデータがＡＮＤ回路３ｂに入力される。他方、遅延回路２ａに入力された抽出色Ａのデータは、拡大回路１ｂでの拡大処理の動作終了時点まで保持された後、ＡＮＤ回路３ｂに入力される。また、遅延回路２ｂに入力された抽出色Ｂのデータは、拡大回路１ａでの拡大処理の動作終了時点まで保持された後、ＡＮＤ回路３ａに入力される。
【００３１】
ＡＮＤ回路３ａに入力された拡大回路１ａと遅延回路２ｂの各出力データは論理積がとられ、真の場合、すなわち抽出色Ｂのデータが存在する場合、遅延回路２ｂの出力データがＯＲ回路４に入力される。同様にＡＮＤ回路３ｂによって、拡大回路１ｂと遅延回路２ａの出力データの論理積がとられ、真の場合、遅延回路２ａの出力データがＯＲ回路４に入力される。そして、ＯＲ回路４によってＡＮＤ回路３ａ，３ｂの出力の論理和がとられ、本例では、Ａ＋Ｂの有効部位の画像データが色抽出データとして出力される。
【００３２】
次に、第３の実施形態について説明する。第３の実施形態では、設定されている抽出色とその混色を対象として抽出することで、天候，倍率等の撮像条件によって変化する色を考慮して認識するようにしている。例えば認識対象の色が赤の場合、雪が降っているときに見える色はピンクになるというように、認識対象として設定されている色をそのまま用いると、被写体を認識できないケースが生じる。第１又は第２の実施形態において、混色であるピンクを抽出色として設定している場合は問題ないが、設定処理が繁雑となる。そこで、第３の実施形態では、設定されている抽出色をＡ，Ｂ，Ｃ，Ｄとした場合、抽出色Ａ，Ｂ，Ｃ，Ｄ（又はその指定色）及びその混色Ｃ１〜Ｃｎ（Ａ，Ｂ，Ｃ，Ｄの２〜４色の組合わせ）を自動的に抽出対象とし（あるいは自動設定によりテーブル等に追加設定し）、その混色をＡ，Ｂ，Ｃ１〜Ｃｎを認識対象の色とするようにしている。
【００３３】
また、外部からの制御信号により混色の組合わせのパターンの中から任意のパターンを選択指定できるように構成することで、変化したと推定される色だけを自動的に指定して抽出することが可能となる。例えば、色抽出時の倍率や時刻に応じて認識対象Ｃ１〜Ｃｎの中から抽出色を選択して決定し、そのパターンの制御信号を色抽出回路に送出することで、当該色だけが抽出されることになる。
【００３４】
図１１は、上記の色抽出方法を実現する回路、すなわち、設定されている抽出色（又はその指定色）とその混色（又はその指定色）を対象として抽出し、当該色の画像データを出力する色抽出回路（第３の色抽出回路：以下、「抽出色／混色抽出回路」と呼ぶ）の一例を示している。図１１において、抽出色／混色抽出回路３１２ｃは、画像信号とともに色設定回路３１３で設定された抽出色（Ａ，Ｂ，Ｃ，Ｄ）の信号を入力し、制御信号（ａ，ｂ，ｃ，ｄ）による指令色（Ａ，Ｂ，Ｃ，Ｄの組合わせ）に該当する色の画像データを出力するように構成されている。例えば、制御信号ＣＳ１のａ，ｂ，ｃの各ビットがオンで、制御信号ＣＳ２のｍａ，ｍｃの各ビットがオンであれば、Ａ，Ｂ，Ｃの各色、及びＡ，Ｃの混色に該当する色の画像データが出力されるようになっている。なお、混色の度合いを指令できるようにしても良い。ここで、Ａ色とＢ色の混色とは、どういうものかを説明する。Ａ色をＨＳＩ系の値で（ＨA ，ＳA ，ＩA ）とする。Ｂ色をＨＳＩ系の値で（ＨB ，ＳB ，ＩB ）とする。このとき、Ａ色とＢ色の混色（ＨC ，ＳC ，ＩC ）は、ＨC ＝ｐＨA ＋（１−ｐ）ＨB ，ＳC ＝ｐＳA ＋（１−ｐ）ＳB ，ＩC ＝ｐＩA ＋（１−ｐ）ＩB となり、０≦ｐ≦１とする。このｐを、度合いを表わす値と呼ぶ。これは、２色のＨＳＩ色空間での内分点を混色としているが、実施の混色をカメラで計測して、テーブルを作成して独自の非線形内分方程式を作成しても良い。
【００３５】
なお、上述した実施の形態においては、センサカメラを備えた自動撮影カメラシステムに適用した場合を例として説明したが、撮影用カメラだけを用いて対象を追尾するシステム等、一般的なシステムにおける被写体の認識方法として本発明を適用することができる。
【００３６】
【発明の効果】
以上に説明したように、本発明の自動撮影カメラシステムにおける被写体の認識方法によれば、被写体の表面部を構成する複数の色を認識要素とし抽出色として予め設定しておき、センサカメラの広角画像から抽出色又はその指定色に該当する各色の画像部を抽出し、複数色の抽出部の画像情報に基づいて撮影対象の被写体を認識するようにしているので、自動認識の適用範囲が広くなり、また、従来の方法に比べて認識対象部を大きくすることが可能となり、安定した認識ができるようになる。また、天候，倍率，時刻など、撮影条件によって変化する色を含めて抽出色の対象とすることができるので、天候等の撮影条件によらずに安定して認識することができるようになる。また、抽出色又はその指定色に該当し、且つ互いの位置関係の条件を満たす各色の画像部を抽出することで、更に安定した認識ができるようにしている。さらに、抽出色（又はその指定色）及びその混色（又はその混色）を含めて該当する各色の画像部を抽出することで、基本色を設定しておくだけで、撮影条件の変化に伴う色の変化に対応できるようになる。
【図面の簡単な説明】
【図１】本発明に係わる自動撮影カメラシステムの概略の構成例を示すブロック図である。
【図２】図１のセンサカメラ１００と撮影用カメラ２００の配置構成の一例を示す図である。
【図３】本発明を実現する装置の一例を示すブロック図である。
【図４】本発明における認識対象の一例を示す図である。
【図５】本発明における認識対象を構成する色の設定例を説明するための図である。
【図６】本発明の第１に実施形態と従来技術との色抽出方法の相違を説明するための図である。
【図７】本発明の第１の実施形態における色抽出回路の構成例を示す図である。
【図８】図７の色抽出回路の動作例を説明するための図である。
【図９】本発明の第２の実施形態を説明するための図である。
【図１０】本発明の第２の実施形態における色抽出回路の構成例を示す図である。
【図１１】本発明の第３の実施形態における色抽出回路の構成例を示す図である。
【符号の説明】
１ 被写体
１０ 認識対象部
１００ センサカメラ
２００ 撮影用カメラ
２１０ 駆動機構部（雲台）
２２０ 撮像部
３００ ３次元位置計測装置
３１０ 被写体認識部
３１１ 色空間変換回路
３１２ 色抽出回路
３１２ａ 抽出色論理和回路
３１２ｂ 近傍色抽出回路
３１２ｃ 抽出色／混色抽出回路
３１３ 色設定回路
３２０ ３次元座標計測部
３２１ 座標計算回路
３２２ ３次元座標演算回路
４００ 駆動制御部
５００ データ解析装置
【発明の属する技術分野】
本発明は、テレビカメラを使用して撮影した画像から撮影対象の被写体の３次元位置を計測し、その被写体を自動追尾して無人で撮影することができる自動撮影カメラシステム及びそのシステムにおける被写体の認識方法に関する。
【０００２】
【従来の技術】
従来、カメラ操作者が直接テレビジョンカメラを操作せず、被写体を自動追尾して撮影することができるようにしたカメラシステムでは、水平，垂直方向に回動可能で外部からの制御信号により制御可能な撮影用カメラを用い、被写体の動きに合わせて撮影用カメラを駆動制御するようにしている。被写体を認識する方法としては、例えば、被写体（あるいは被写体と共に移動する物体）に予め検知マークを付けておき、撮影画像を処理してその検知マークを認識する方法や、赤色など特定の色を被写体として認識する方法が採られている。そして、認識した被写体が画面の枠内の所定位置に位置するように撮影用カメラを駆動制御することで、被写体を追尾して撮影するようにしている。
【０００３】
【発明が解決しようとする課題】
しかしながら、予め検知マークを被写体に付けて認識する方法では、自動認識の適用範囲が狭く、また、認識対象が小さすぎるため安定した認識ができないという問題があった。一方、特定の一色を被写体として認識する方法では、同一色が存在する等、撮影対象を特定できないような場所には適用できないという問題があった。また、日光や照明が当たっている場所で撮影する場合には被写体に影の部分ができるので、認識対象となる色の部分が小さくなり、いずれの方法を採っても安定した認識ができないという問題があった。さらに、天候や倍率等の撮影条件によっては色が変化するため、被写体を認識できないケースが生じるという問題があった。例えば、認識対象の色が赤の場合、雪が降っているときに見える色はピンクになり、赤と白で構成された衣服では小さく映すとピンクになるというように、撮影条件によって色が変化してしまうため、認識不能となる場合があった。
【０００４】
本発明は上述のような事情から成されたものであり、本発明の目的は、自動追尾の対象である静止又は移動している被写体を、天候等の撮影条件によらずに安定して認識することができる自動撮影カメラシステム及びそのシステムにおける被写体の認識方法を提供することにある。
【０００５】
【課題を解決するための手段】
本発明は、広角画像を撮影するセンサカメラの撮影画像内の静止体又は移動体の中から撮影対象の被写体を認識し、外部からの制御信号により撮影方向を含むカメラ操作の制御が可能な撮影用カメラを駆動制御して前記被写体の自動追尾による撮影を行なう自動撮影カメラシステム及びそのシステムにおける被写体の認識方法に関するものであり、本発明の上記目的は、自動撮影カメラシステムにおける被写体の認識方法について、前記被写体の表面部を構成する複数の色を抽出色として予め設定しておき、前記センサカメラの広角画像から前記抽出色又はその指定色に該当する各色の画像部を抽出し、抽出部の画像情報に基づいて前記撮影対象の被写体を認識するようにすることによって達成される。
【０００６】
あるいは、前記被写体の表面部を構成する複数の色を抽出色として予め設定しておき、前記センサカメラの広角画像から前記抽出色又はその指定色に該当し、且つ互いの位置関係の条件を満たす各色の画像部を抽出し、抽出部の画像情報に基づいて前記撮影対象の被写体を認識することによって達成される。また、前記位置関係の条件が、前記該当する当該色部を所定の倍率で拡大し、拡大部の範囲内に他の該当する色部が含まれるか否かの条件であることによって、より効果的に達成される。
【０００７】
あるいは、前記被写体の表面部を構成する複数の色を抽出色として予め設定しておき、前記センサカメラの広角画像から前記抽出色及びその混色又は前記抽出色の指定色及びその混色に該当する各色の画像部を抽出し、抽出部の画像情報に基づいて前記撮影対象の被写体を認識することによって達成される。さらに、前記設定されている色が、撮影条件によって変化する色を含むこと；によって、より効果的に達成される。
【０００８】
また、本発明の上記目的は、自動撮影カメラシステムについて、外部からの制御信号により撮影方向を含むカメラ操作の制御が可能な撮影用カメラの駆動制御により撮影対象の被写体を自動追尾して撮影する自動撮影カメラシステムであって、該自動撮影カメラシステムは、カメラ操作者の視野に相当する広角画像を撮影する第１及び第２のセンサカメラと、前記撮影対象の被写体を自動追尾して撮影する前記撮影用カメラと、前記撮影対象の被写体に関する計測情報を出力する、Ａ／Ｄ変換手段と被写体認識部と３次元座標計測部とから構成される３次元位置計測手段と、前記３次元位置計測手段からの前記計測情報を基に、前記撮影対象の被写体の動きを解析し、その動きに応じて前記撮影用カメラのカメラワークを制御するデータ解析手段と、前記データ解析手段からの駆動制御データに従って、前記撮影用カメラの駆動制御を行う駆動制御手段とを備え、
前記第１及び第２のセンサカメラで撮影された映像信号は、前記３次元位置計測手段に入力され、前記Ａ／Ｄ変換手段を介してデジタル化され、デジタル化された画像データは前記被写体認識部に出力され、前記被写体認識部は、入力された前記デジタル化された画像データを色抽出に適したＨＳＩ系の色空間への変換処理を行なう色空間変換手段と、前記撮影対象の被写体の表面部を構成する複数の色を抽出色として設定する色設定手段と、前記センサカメラの広角画像から前記抽出色に該当する各色の画像部の画像データを抽出する色抽出手段とから構成され、かつ、前記３次元座標計測部は、前記撮影対象の被写体の中心位置を演算する座標計算手段と、前記座標計算手段で得られた前記中心位置と前記センサカメラ及び前記撮影用カメラの位置情報とから、前記撮影用カメラの視点を原点とした前記撮影対象の被写体の３次元座標を算出し、算出した３次元座標及び前記撮影対象の被写体の大きさを示す情報を計測情報として前記データ解析手段に出力する３次元座標演算手段とから構成されており、
さらに、前記データ解析手段は、前記カメラワークの制御モードを複数持ち、各制御モードを撮影中の状況の変化に応じてダイナミックに切替えることによって達成される。
【０００９】
【発明の実施の形態】
本発明では、カメラ操作者の眼に相当するセンサカメラにより撮影した広角映像の中から撮影すべき被写体を自動認識すると共に、３次元空間内での被写体の位置を計測し、被写体の動きに応じて撮影用カメラを駆動制御することで、被写体の自動撮影を行なうようにしている。そして、被写体の認識方法としては、被写体の表面部を構成する複数の色を認識要素とし、抽出色として予め設定しておき、センサカメラの広角画像から抽出色全て又は抽出色の中から予め指定した指定色に該当する各色の画像部を抽出し、複数色の抽出部の画像情報に基づいて撮影対象の被写体を認識するようにしている。また、抽出色又はその指定色に該当し、且つ互いの位置関係の条件を満たす各色の画像部を抽出することで、更に安定した認識ができるようにしている。さらに、抽出色又はその指定色の混色を含めて該当する各色の画像部を抽出することで、基本色を設定しておくだけで、環境条件の変化に伴う色の変化に対応できるようにしている。
【００１０】
以下、図面に基づいて本発明の好適な実施形態について詳細に説明する。まず、本発明に係わる自動撮影カメラシステムの全体構成について具体例を示して説明する。
【００１１】
図１は本発明に係わる自動撮影カメラシステムの概略構成を示しており、３次元空間を移動する被写体を捕らえるための２台のカメラ１００（以下、「センサカメラ」と呼ぶ）と１台の撮影用カメラ２００を備えたシステムの例を示している。センサカメラ１００は、カメラ操作者の両眼に相当するカメラであり、同図のように撮影対象の被写体１を含む広角映像を撮影する。このセンサカメラ１００は、被写体の３次元位置（３次元座標）を三角測量の原理で求めるために２台用いる。例えば、センサカメラ１００の視野領域を越えて移動する被写体１を追尾して撮影する場合には、複数のセンサカメラ１００が使用され、その場合には撮影範囲（計測範囲）が分割されてそれぞれ所定の位置に２台ずつ配置される。撮影用カメラ２００は、外部からの制御信号によりカメラのパン，チルト，ズーム，フォーカス等の調整が可能な駆動機構部（雲台）２１０と撮像部２２０とが一体的に構成されたカメラであり、パン軸及びチルト軸の回動制御により真下を除くほぼ全域の空間が撮影できるようになっている。
【００１２】
３次元位置計測装置３００は、センサカメラ１００の撮影された広角画像ＶＤ１ａ（ＶＤ１ｂ）内の静止体又は移動体の中から撮影対象の被写体１を、後述する認識方法にって認識すると共に、被写体１の現在位置を逐次計測する装置であり、撮影用カメラ２００の視点を原点とした三次元空間内での被写体１の現在位置（３次元座標情報），被写体１の大きさを示す情報（画像抽出部分の面積情報）等を計測情報ＰＤとして出力する。この計測情報ＰＤは入出力インタフェースを介してデータ解析装置５００に入力される。
【００１３】
データ解析装置５００は、３次元位置計測装置３００からの計測情報ＰＤを基に被写体１の動きを解析し、被写体１の動きに応じて撮影用カメラ２００のカメラワークを制御する装置であり、駆動制御部４００を介して駆動信号ＭＳを送出し、撮影用カメラ２００のカメラワークを制御する。すなわち、データ解析装置５００では、３次元位置計測装置３００の計測情報ＰＤに基づいて被写体１の現在位置を認識する共に、被写体１の動き（各時点の位置，方位角，加速度等）を解析して次の瞬間の動きを予測し、この予測情報と現時点の撮影用カメラ２００の向きを示す情報等に基づいて撮影用カメラ２００のパン，チルト角度偏差及びズーム等の調整量を演算し、駆動制御データ（速度指令）Ｖｃｏｍを出力して被写体１の次の動作位置へと撮影用カメラ２００を駆動制御することで、被写体１を自動追尾して撮影するようにしている。
【００１４】
また、データ解析装置５００は、カメラワークの制御モードを複数持ち、各制御モードを撮影中の状況の変化に応じてダイナミックに切替える機能を備えており、状況に応じた最適なカメラワークで撮影することができるようにしている。
例えば、被写体の３次元空間内の位置に応じて視野の大きさを変化させたり、被写体の速度に応じて画面内の被写体位置を変動させたり、時間帯に応じてアイリスの調整量を切替えたりというように、カメラワークの制御モードをダイナミックに切替えて撮影することができるようにしている。また、運動競技や自動車競技等、被写体が移動するコースが予め決まっている場合には、カメラワークの制御モードが異なる撮影区域（例えば、スキーのジャンプ競技のスタート地点→ジャンプ地点→着地地点等）ごとにカメラワークの制御パラメータをそれぞれ設定しておき、撮影空間内の被写体の位置に応じて制御パラメータを自動的に切替えることで、撮影区域に応じた最適なカメラワークで撮影することができるようにしている。
【００１５】
図２は、上述の自動撮影システムにおけるセンサカメラ１００と撮影用カメラ２００の配置構成の一例を示しており、同図に示すようなスキーのジャンプ競技を撮影する場合、被写体である選手１が移動する領域は、スタート地点からジャンプ台の先端のジャンプ地点までの助走路の領域部２ａ，ジャンプしてから着地地点までの領域部２ｂ，及び着地地点から静止するまでのスロープの領域部２ｃであり、それぞれの移動領域部が撮影領域部（３次元空間領域）となる。本システムでは全領域を自動撮影の対象とすることができるが、図２では便宜上、ジャンプ中の空間領域部２ｂの一部を自動撮影の対象とし、センサカメラ１００の視野領域を２つの計測範囲１及び２に分割し、センサカメラ１０１（１０１Ａ，１０１Ｂ）で計測範囲１の３次元計測を担当し、センサカメラ１０２（１０２Ａ，１０２Ｂ）で計測範囲２の３次元計測を担当するようにした場合の配置構成の例を示している。
【００１６】
ここで、センサカメラ１０１とセンサカメラ１０２は、それぞれ１台でも被写体の３次元位置（３次元座標）を求めることが可能だが、その場合、例えば２点間を移動したときの被写体１の移動量及び大きさの変化量の検出値に基づいて被写体１の位置を示す３次元座標を算出することになり、計測時点ごとに３次元座標を求めることができず、リアルタイムに計測情報を提供できないという欠点がある。そのため、上記の点や計測装置の処理負荷の点では、本例のように１計測範囲に２台のセンサカメラを用いる形態の方が好ましい。
【００１７】
図３は、本発明を実現する装置の一例を示しており、上述の自動撮影カメラシステムでは、３次元位置計測装置３００内で被写体の認識及び３次元位置の計測を行なうようになっている。図３において、センサカメラ１００（１０１Ａ，１０１Ｂ、１０２Ａ，１０２Ｂ）は、図２の構成例のように計測範囲毎に２台ずつ設置される。それぞれのセンサカメラ１００で撮影された映像信号ＶＤ１（ＶＤ１ａ，ＶＤ１ｂ、ＶＤ２ａ，ＶＤ２ｂ）は３次元位置計測装置３００に入力され、Ａ／Ｄ変換部３０１を介してデジタル化される。デジタル化された画像データは、被写体認識部３１０内の色空間変換回路３１１に送出される。
【００１８】
被写体認識部３１０は、デジタル化された画像データ（Ｒ，Ｇ，Ｂ）を受け、それを色抽出に適したＨＳＩ系の色空間への変換処理を行なう色空間変換回路３１１と、被写体１の表面部を構成する複数の色を抽出色として設定するための色設定回路３１３と、センサカメラの広角画像から抽出色（又はその指定色）に該当する各色の画像部の画像データを抽出する色抽出回路３１２とから構成され、センサカメラ１００の広角画像から当該色の画像部を抽出する。色の抽出方法の詳細については後述するものとし、ここでは、色抽出回路３１２の基本の動作例を説明する。色抽出回路３１２では、デジタル化した１フレーム分の２次元座標系の画像データから撮影対象の被写体１を認識する。被写体１の認識は、例えば画像データの各画素の色情報（Ｈ，Ｓ，Ｉ）と、被写体認識データとして色設定回路３１３で設定された抽出色（又はその数値で設定された指定色）のそれぞれの閾値（Ｈ，Ｓ，Ｉの範囲：下限の閾値〜上限の閾値）とを比較し、閾値内を “１”，範囲外を“０”として画素単位に２値化する。その際、２次元座標系 （Ｘ，Ｙ座標系）にて連続する当該色の画素を抽出して計数し、計数値を面積Ｓとする。そして当該色の部分が複数存在する場合には、例えば、面積Ｓの大きい部分を撮影対象の被写体１と認識する。ここで、上記の抽出処理は、当該計測範囲を撮像する２台のセンサカメラ１００の画像データＶＤ１ａ，ＶＤ１ｂに対してそれぞれ行なわれる。
【００１９】
３次元座標計測部３２０内の座標計算回路３２１では、被写体認識部３１０で求めた面積Ｓから、抽出部分の重心位置を演算して被写体１の中心位置Ｃ（ｘ，ｙ）とする。この中心位置は、２台のセンサカメラ１００の画像データＶＤ１ａ，ＶＤ１ｂからそれぞれ演算する。３次元座標演算回路３２２では、２つの中心位置Ｃ１（ｘ，ｙ）及びＣ２（ｘ，ｙ）と、センサカメラ１００及び撮影用カメラ２００の位置情報とから、被写体１の３次元空間内の位置（撮影用カメラ２００の視点を原点とした被写体１の３次元座標）を三角測量の原理で算出し、算出した３次元位置情報Ｃ（ｘ，ｙ，ｚ），及び被写体１の大きさを示す情報（上記の面積Ｓ）を計測情報ＰＤとして出力する。この計測情報ＰＤは、データ解析装置５００に入力される。
【００２０】
次に、上述のような自動撮影カメラシステムにおける被写体の認識方法を、具体例を示して詳細に説明する。以下、次に示す第１〜第３の実施形態に分けてそれぞれ説明する。
【００２１】
第１の実施形態では、撮影対象の被写体の表面部を構成する複数の色を、例えば撮影条件によって変わる色を含めて抽出色として予め設定しておき、センサカメラ１００の広角画像から上記抽出色又はその指定色に該当する各色の画像部を抽出するようにしている。すなわち、複数の色の組合わせによって撮影対象の被写体を認識するようにしている。また、第２の実施形態では、ａの色の近傍にｂの色が存在する等、複数の色の位置関係によって撮影対象の被写体を認識するようにしている。さらに、第３の実施形態では、設定されている抽出色とその混色を対象として抽出することで、天候，倍率等の撮像条件によって変化する色を考慮して認識するようにしている。この場合、混色を予め抽出色として設定しなくても、自動的に（或いは指令することで）抽出対象となる。
【００２２】
先ず、第１の実施形態について説明する。例えば撮影対象がスキー選手の場合には、スキー選手が着用しているユニホームを認識対象とすることができる。すなわち、複数の色で構成されるユニホームの色をそれぞれ認識することにより、撮影対象の被写体を認識することができる。ところで、スキーの競技のように野外で被写体を撮影する場合には、日光が当たっている部分と影の部分では色が異なる場合が多い。また、室内での撮影でも同様に、照明が当たっている部分と影の部分では色が異なる場合が多い。そこで、本発明では光の照射条件によって異なるそれぞれの色を別々に設定しておき、その論理和をとることで抽出部を影の部分まで対象とすることで、安定した認識が行なえるようにしている。
【００２３】
図４は、上部と下部で色が異なるユニホーム（認識対象部）１０の例を示している。例えば同図のように、カメラの視線に対してスキー選手が右斜め前方に向いており、スキー選手１の後方側（図中の矢印Ｒ方向）から光が当たっている状態では、ユニホーム１０の上部で日なたのＡ色と日陰のＢ色の部分、さらにユニホーム１０の下部で日なたのＣ色と日陰のＤ色の部分が生じる。本例では、日なたの２色Ａ，Ｃと、日陰の２色Ｂ，Ｄの合計４色の部分が認識対象の領域となる。この場合、図５に示すように、それぞれの色を色設定回路３１３の設定手段によって設定してテーブル等に登録しておき、画像抽出時に当該色の部分を抽出し、認識用データとして出力する。また、図５の例のように、色を示す情報と共に属性情報（日なたの色，日陰の色，位置関係等）を設定しておくことで、モード指定（例えば、夕焼け，晴れ，曇り等のモード指定）等により、当該モードに属する色を抽出対象として処理できるようになる。例えば、後述する第１の色抽出回路の例のように、想定されるｎ個（ｎ≧２）の色の組合わせのパターンの中からｍ個（ｍ≧１）のパターンを選択して抽出できるように構成することによって、汎用的なものとすることができる。
【００２４】
図６は、従来の色抽出方法による抽出結果を同図（Ａ）、本発明の色抽出方法による抽出結果を同図（Ｂ）に示しており、一般的な色抽出方法では、図４のユニホーム１０を認識対象とした場合、Ａ色などの１色の部分だけしか抽出できなかったが、本発明では、撮影条件によって色が変化してもユニホーム１０の全体を抽出することができ、安定した被写体の認識と３次元位置の計測ができるようになる。
【００２５】
図７は、第１の実施形態に用いる色抽出回路（第１の色抽出回路：以下、「抽出色論理和回路」と呼ぶ）の一例を示しており、抽出色論理和回路３１２ａは、画像信号とともに色設定回路３１３で設定された抽出色（Ａ，Ｂ，Ｃ，Ｄ）の信号を入力し、制御信号（ａ，ｂ，ｃ，ｄ）ＣＳ１による指令色（Ａ，Ｂ，Ｃ，Ｄの組合わせ）に該当する色の画像データを出力するように構成されている。ここでは、説明を簡単にするために、４色（Ａ，Ｂ，Ｃ，Ｄ）の組合わせパターンの中から制御信号ＣＳ１によって指定された１個のパターンを選択して出力するようにした回路例を示している。制御信号ＣＳ１の各ビット（ａ，ｂ，ｃ，ｄ）はそれぞれの抽出色（Ａ，Ｂ，Ｃ，Ｄ）に対応しており、図８に示すように、“１”が抽出対象で、“０”が抽出対象外として指定される。例えば、図４の認識対象（ユニホーム１０）の例において、日陰の色を含めずに抽出する場合は、それらの色に対応する各ビットの値を“１”（この場合はＡ色，Ｃ色なので“１０１０”）とした制御信号ＣＳ１が抽出色論理和回路３１２ａに入力される。抽出色論理和回路３１２ａでは、制御信号ＣＳ１の値に応じて抽出色の論理和をとり、該当色（Ａ＋Ｃ）の画像抽出データを出力する。
【００２６】
次に、第２の実施形態について説明する。第２の実施形態では、センサカメラ１００の広角画像から、互いの位置関係の条件（例えば、位置関係が近いもの、或いは、図５のように位置関係を示す属性情報で、上下，左右等の位置関係が該当するもの）を満たす色の画像部を抽出して認識対象とするようにしている。ここでは、説明を簡単にするために、２色の位置関係が近いものだけを認識対象とする場合を例として説明する。例えば、図９（Ａ）に示すように、認識対象１０がＡ色の部分１０ａとＢ色の部分１０ｂとで構成され、認識対象１０の周辺に、認識対象外のＡ色の物体１１ａとＢ色の物体１１ｂが存在している場合を例とする。本例では、Ａ色（Ｂ色）の周辺にＢ色（Ａ色）があるか否かを検出するために、抽出した各色Ａ，Ｂの領域を倍率ｋ（ｋは、位置関係の近さを求めるための倍率）でそれぞれ拡大し、拡大した領域内に他の色があれば、他の色の領域の拡大範囲内の部位を有効部位とし、有効部位の画像データを出力するようにしている。
【００２７】
この処理は設定された各色毎に行なわれ、図９（Ａ）の例では，同図（Ｂ）及び（Ｃ）に示すように、Ａ色の物体１１ａとＢ色の物体１１ｂの拡大範囲（図中の破線部）内には他の色が存在しないので画像データは出力されない。一方、図９（Ｂ）に示すように、Ａ色の物体１０ａの拡大範囲内にはＢ色の部位が存在するので、拡大範囲内のＢ色の部位の画像データを出力する。他方、図９（Ｃ）に示すように、Ｂ色の物体１０ｂの拡大範囲内にはＡ色の部位が存在するので、拡大範囲内のＡ色の部位の画像データを出力する。そして、その論理和をとり、図９（Ｄ）に示すように、Ａ＋Ｂの有効部位の画像データを色抽出データとして出力する。このような色抽出方法をとることにより、ユニホームの模様のように複数の色で構成される認識対象１０のみを抽出することができ、背景にじゃまなものがあっても影響を受けずに被写体を認識することができるようになる。
【００２８】
図１０は、上記の色抽出方法を実現する回路、すなわち、複数の色の位置関係が近いものを抽出して出力する色抽出回路（第２の色抽出回路：以下、「近傍色抽出回路」と呼ぶ）の一例を示しており、ここでは、説明を簡単にするために、位置関係が近い２色で構成される認識対象の色データを抽出して出力するようにした回路の例を示している。この場合、色設定回路３１３の設定手段によって、抽出対象のＡ色，Ｂ色と、各色の領域の周辺領域を示す値すなわち上記の倍率ｋとが、色抽出パラメータとしてテーブル等に登録されている。
【００２９】
図１０において、近傍色抽出回路３１２ｂは、抽出色Ａ（Ｂ）の画像データを入力し、抽出色Ａ（Ｂ）の範囲を倍率ｋで拡大してその拡大範囲のデータ（オール“１”）を出力する拡大回路１ａ（１ｂ）と、抽出色Ａ（Ｂ）の画像データを入力し、拡大回路１ｂ（１ａ）での処理時間に相当する時間分遅延させて抽出色Ａ（Ｂ）の画像データを出力（但し、画像データの入力がない場合は“０”を出力）する遅延回路２ａ（２ｂ）と、拡大回路１ａ（１ｂ）と他方の遅延回路２ｂ（２ａ）の出力データを入力して論理積を出力するＡＮＤ回路３ａ（３ｂ）と、ＡＮＤ回路３ａ，３ｂの出力の論理和をとって出力するＯＲ回路４とから構成される。
【００３０】
このような構成において、その動作例を説明する。画像データは、抽出色論理和回路３１２ａと同様の手法により予め抽出色ごとに領域抽出しておく。抽出色Ａのデータ（座標情報）は拡大回路１ａに入力され、色抽出パラメータで指定されている倍率ｋで抽出色Ａの領域が拡大回路１ａによって拡大され、その拡大範囲のデータ（オール“１”）がＡＮＤ回路３ａに入力される。一方、抽出色Ｂのデータは拡大回路１ｂに入力され、同様に倍率ｋで抽出色Ｂの領域が拡大回路１ｂによって拡大され、その拡大範囲のデータがＡＮＤ回路３ｂに入力される。他方、遅延回路２ａに入力された抽出色Ａのデータは、拡大回路１ｂでの拡大処理の動作終了時点まで保持された後、ＡＮＤ回路３ｂに入力される。また、遅延回路２ｂに入力された抽出色Ｂのデータは、拡大回路１ａでの拡大処理の動作終了時点まで保持された後、ＡＮＤ回路３ａに入力される。
【００３１】
ＡＮＤ回路３ａに入力された拡大回路１ａと遅延回路２ｂの各出力データは論理積がとられ、真の場合、すなわち抽出色Ｂのデータが存在する場合、遅延回路２ｂの出力データがＯＲ回路４に入力される。同様にＡＮＤ回路３ｂによって、拡大回路１ｂと遅延回路２ａの出力データの論理積がとられ、真の場合、遅延回路２ａの出力データがＯＲ回路４に入力される。そして、ＯＲ回路４によってＡＮＤ回路３ａ，３ｂの出力の論理和がとられ、本例では、Ａ＋Ｂの有効部位の画像データが色抽出データとして出力される。
【００３２】
次に、第３の実施形態について説明する。第３の実施形態では、設定されている抽出色とその混色を対象として抽出することで、天候，倍率等の撮像条件によって変化する色を考慮して認識するようにしている。例えば認識対象の色が赤の場合、雪が降っているときに見える色はピンクになるというように、認識対象として設定されている色をそのまま用いると、被写体を認識できないケースが生じる。第１又は第２の実施形態において、混色であるピンクを抽出色として設定している場合は問題ないが、設定処理が繁雑となる。そこで、第３の実施形態では、設定されている抽出色をＡ，Ｂ，Ｃ，Ｄとした場合、抽出色Ａ，Ｂ，Ｃ，Ｄ（又はその指定色）及びその混色Ｃ１〜Ｃｎ（Ａ，Ｂ，Ｃ，Ｄの２〜４色の組合わせ）を自動的に抽出対象とし（あるいは自動設定によりテーブル等に追加設定し）、その混色をＡ，Ｂ，Ｃ１〜Ｃｎを認識対象の色とするようにしている。
【００３３】
また、外部からの制御信号により混色の組合わせのパターンの中から任意のパターンを選択指定できるように構成することで、変化したと推定される色だけを自動的に指定して抽出することが可能となる。例えば、色抽出時の倍率や時刻に応じて認識対象Ｃ１〜Ｃｎの中から抽出色を選択して決定し、そのパターンの制御信号を色抽出回路に送出することで、当該色だけが抽出されることになる。
【００３４】
図１１は、上記の色抽出方法を実現する回路、すなわち、設定されている抽出色（又はその指定色）とその混色（又はその指定色）を対象として抽出し、当該色の画像データを出力する色抽出回路（第３の色抽出回路：以下、「抽出色／混色抽出回路」と呼ぶ）の一例を示している。図１１において、抽出色／混色抽出回路３１２ｃは、画像信号とともに色設定回路３１３で設定された抽出色（Ａ，Ｂ，Ｃ，Ｄ）の信号を入力し、制御信号（ａ，ｂ，ｃ，ｄ）による指令色（Ａ，Ｂ，Ｃ，Ｄの組合わせ）に該当する色の画像データを出力するように構成されている。例えば、制御信号ＣＳ１のａ，ｂ，ｃの各ビットがオンで、制御信号ＣＳ２のｍａ，ｍｃの各ビットがオンであれば、Ａ，Ｂ，Ｃの各色、及びＡ，Ｃの混色に該当する色の画像データが出力されるようになっている。なお、混色の度合いを指令できるようにしても良い。ここで、Ａ色とＢ色の混色とは、どういうものかを説明する。Ａ色をＨＳＩ系の値で（ＨA ，ＳA ，ＩA ）とする。Ｂ色をＨＳＩ系の値で（ＨB ，ＳB ，ＩB ）とする。このとき、Ａ色とＢ色の混色（ＨC ，ＳC ，ＩC ）は、ＨC ＝ｐＨA ＋（１−ｐ）ＨB ，ＳC ＝ｐＳA ＋（１−ｐ）ＳB ，ＩC ＝ｐＩA ＋（１−ｐ）ＩB となり、０≦ｐ≦１とする。このｐを、度合いを表わす値と呼ぶ。これは、２色のＨＳＩ色空間での内分点を混色としているが、実施の混色をカメラで計測して、テーブルを作成して独自の非線形内分方程式を作成しても良い。
【００３５】
なお、上述した実施の形態においては、センサカメラを備えた自動撮影カメラシステムに適用した場合を例として説明したが、撮影用カメラだけを用いて対象を追尾するシステム等、一般的なシステムにおける被写体の認識方法として本発明を適用することができる。
【００３６】
【発明の効果】
以上に説明したように、本発明の自動撮影カメラシステムにおける被写体の認識方法によれば、被写体の表面部を構成する複数の色を認識要素とし抽出色として予め設定しておき、センサカメラの広角画像から抽出色又はその指定色に該当する各色の画像部を抽出し、複数色の抽出部の画像情報に基づいて撮影対象の被写体を認識するようにしているので、自動認識の適用範囲が広くなり、また、従来の方法に比べて認識対象部を大きくすることが可能となり、安定した認識ができるようになる。また、天候，倍率，時刻など、撮影条件によって変化する色を含めて抽出色の対象とすることができるので、天候等の撮影条件によらずに安定して認識することができるようになる。また、抽出色又はその指定色に該当し、且つ互いの位置関係の条件を満たす各色の画像部を抽出することで、更に安定した認識ができるようにしている。さらに、抽出色（又はその指定色）及びその混色（又はその混色）を含めて該当する各色の画像部を抽出することで、基本色を設定しておくだけで、撮影条件の変化に伴う色の変化に対応できるようになる。
【図面の簡単な説明】
【図１】本発明に係わる自動撮影カメラシステムの概略の構成例を示すブロック図である。
【図２】図１のセンサカメラ１００と撮影用カメラ２００の配置構成の一例を示す図である。
【図３】本発明を実現する装置の一例を示すブロック図である。
【図４】本発明における認識対象の一例を示す図である。
【図５】本発明における認識対象を構成する色の設定例を説明するための図である。
【図６】本発明の第１に実施形態と従来技術との色抽出方法の相違を説明するための図である。
【図７】本発明の第１の実施形態における色抽出回路の構成例を示す図である。
【図８】図７の色抽出回路の動作例を説明するための図である。
【図９】本発明の第２の実施形態を説明するための図である。
【図１０】本発明の第２の実施形態における色抽出回路の構成例を示す図である。
【図１１】本発明の第３の実施形態における色抽出回路の構成例を示す図である。
【符号の説明】
１ 被写体
１０ 認識対象部
１００ センサカメラ
２００ 撮影用カメラ
２１０ 駆動機構部（雲台）
２２０ 撮像部
３００ ３次元位置計測装置
３１０ 被写体認識部
３１１ 色空間変換回路
３１２ 色抽出回路
３１２ａ 抽出色論理和回路
３１２ｂ 近傍色抽出回路
３１２ｃ 抽出色／混色抽出回路
３１３ 色設定回路
３２０ ３次元座標計測部
３２１ 座標計算回路
３２２ ３次元座標演算回路
４００ 駆動制御部
５００ データ解析装置
Claims (6)
- 広角画像を撮影するセンサカメラの撮影画像内の静止体又は移動体の中から撮影対象の被写体を認識し、外部からの制御信号により撮影方向を含むカメラ操作の制御が可能な撮影用カメラを駆動制御して前記被写体の自動追尾による撮影を行なう自動撮影カメラシステムにおける被写体の認識方法において、前記被写体の表面部を構成する複数の色を抽出色として予め設定しておき、前記センサカメラの広角画像から前記抽出色又はその指定色に該当する各色の画像部を抽出し、抽出部の画像情報に基づいて前記撮影対象の被写体を認識するようにしたことを特徴とする自動撮影カメラシステムにおける被写体の認識方法。
- 広角画像を撮影するセンサカメラの撮影画像内の静止体又は移動体の中から撮影対象の被写体を認識し、外部からの制御信号により撮影方向を含むカメラ操作の制御が可能な撮影用カメラを駆動制御して前記被写体の自動追尾による撮影を行なう自動撮影カメラシステムにおける被写体の認識方法において、前記被写体の表面部を構成する複数の色を抽出色として予め設定しておき、前記センサカメラの広角画像から前記抽出色又はその指定色に該当し、且つ互いの位置関係の条件を満たす各色の画像部を抽出し、抽出部の画像情報に基づいて前記撮影対象の被写体を認識するようにしたことを特徴とする自動撮影カメラシステムにおける被写体の認識方法。
- 前記位置関係の条件が、前記該当する当該色の画像部を所定の倍率で拡大し、拡大部の範囲内に他の該当する色の画像部が含まれるか否かの条件である請求項２に記載の自動撮影カメラシステムにおける被写体の認識方法。
- 広角画像を撮影するセンサカメラの撮影画像内の静止体又は移動体の中から撮影対象の被写体を認識し、外部からの制御信号により撮影方向を含むカメラ操作の制御が可能な撮影用カメラを駆動制御して前記被写体の自動追尾による撮影を行なう自動撮影カメラシステムにおける被写体の認識方法において、前記被写体の表面部を構成する複数の色を抽出色として予め設定しておき、前記センサカメラの広角画像から前記抽出色及びその混色又は前記抽出色の指定色及びその混色に該当する各色の画像部を抽出し、抽出部の画像情報に基づいて前記撮影対象の被写体を認識するようにしたことを特徴とする自動撮影カメラシステムにおける被写体の認識方法。
- 前記設定されている色が、撮影条件によって変化する色を含む請求項１乃至請求項４のいずれか一項に記載の自動撮影カメラシステムにおける被写体の認識方法。
- 外部からの制御信号により撮影方向を含むカメラ操作の制御が可能な撮影用カメラの駆動制御により撮影対象の被写体を自動追尾して撮影する自動撮影カメラシステムであって、該自動撮影カメラシステムは、
カメラ操作者の視野に相当する広角画像を撮影する第１及び第２のセンサカメラと、
前記撮影対象の被写体を自動追尾して撮影する前記撮影用カメラと、
前記撮影対象の被写体に関する計測情報を出力する、Ａ／Ｄ変換手段と被写体認識部と３次元座標計測部とから構成される３次元位置計測手段と、
前記３次元位置計測手段からの前記計測情報を基に、前記撮影対象の被写体の動きを解析し、その動きに応じて前記撮影用カメラのカメラワークを制御するデータ解析手段と、
前記データ解析手段からの駆動制御データに従って、前記撮影用カメラの駆動制御を行う駆動制御手段とを備え、
前記第１及び第２のセンサカメラで撮影された映像信号は、前記３次元位置計測手段に入力され、前記Ａ／Ｄ変換手段を介してデジタル化され、デジタル化された画像データは前記被写体認識部に出力され、
前記被写体認識部は、入力された前記デジタル化された画像データを色抽出に適したＨＳＩ系の色空間への変換処理を行なう色空間変換手段と、前記撮影対象の被写体の表面部を構成する複数の色を抽出色として設定する色設定手段と、前記センサカメラの広角画像から前記抽出色に該当する各色の画像部の画像データを抽出する色抽出手段とから構成され、かつ、
前記３次元座標計測部は、前記撮影対象の被写体の中心位置を演算する座標計算手段と、前記座標計算手段で得られた前記中心位置と前記センサカメラ及び前記撮影用カメラの位置情報とから、前記撮影用カメラの視点を原点とした前記撮影対象の被写体の３次元座標を算出し、算出した３次元座標及び前記撮影対象の被写体の大きさを示す情報を計測情報として前記データ解析手段に出力する３次元座標演算手段とから構成されており、
さらに、前記データ解析手段は、前記カメラワークの制御モードを複数持ち、各制御モードを撮影中の状況の変化に応じてダイナミックに切替えることを特徴とする自動撮影カメラシステム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP15313796A JP3704201B2 (ja) | 1996-05-24 | 1996-05-24 | 自動撮影カメラシステム及びそのシステムにおける被写体の認識方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP15313796A JP3704201B2 (ja) | 1996-05-24 | 1996-05-24 | 自動撮影カメラシステム及びそのシステムにおける被写体の認識方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH09322178A JPH09322178A (ja) | 1997-12-12 |
| JP3704201B2 true JP3704201B2 (ja) | 2005-10-12 |
Family
ID=15555823
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP15313796A Expired - Fee Related JP3704201B2 (ja) | 1996-05-24 | 1996-05-24 | 自動撮影カメラシステム及びそのシステムにおける被写体の認識方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3704201B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4495606B2 (ja) * | 2005-01-19 | 2010-07-07 | 日本放送協会 | 色識別装置及び色識別プログラム |
| JP5173915B2 (ja) | 2009-04-08 | 2013-04-03 | 三洋電機株式会社 | 画像処理装置及び撮像装置 |
| JP6789676B2 (ja) * | 2015-06-11 | 2020-11-25 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム |
-
1996
- 1996-05-24 JP JP15313796A patent/JP3704201B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH09322178A (ja) | 1997-12-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3298072B2 (ja) | ビデオカメラシステム | |
| CN109151439B (zh) | 一种基于视觉的自动追踪拍摄系统及方法 | |
| US10728459B2 (en) | System and method for tracking moving objects in a scene | |
| CN103716594B (zh) | 基于运动目标检测的全景拼接联动方法及装置 | |
| JP4451122B2 (ja) | ビデオ追跡システム及び方法 | |
| JP4568009B2 (ja) | カメラ連携による監視装置 | |
| EP2284814A1 (en) | Systems and methods for night time surveillance | |
| WO2012023766A2 (ko) | 열화상 좌표를 이용한 보안용 카메라 추적 감시 시스템 및 방법 | |
| CN101072332A (zh) | 一种自动跟踪活动目标进行拍摄的方法 | |
| CN101494735B (zh) | 摄像装置、摄像装置控制方法 | |
| JP3615868B2 (ja) | 自動撮影カメラシステム | |
| JP3704201B2 (ja) | 自動撮影カメラシステム及びそのシステムにおける被写体の認識方法 | |
| JP3615867B2 (ja) | 自動撮影カメラシステム | |
| JPH0582786B2 (ja) | ||
| JPH09322053A (ja) | 自動撮影カメラシステムにおける被写体の撮影方法。 | |
| JPH10294890A (ja) | 自動／手動撮影カメラシステム | |
| JP3393969B2 (ja) | 自動撮影カメラシステムにおける被写体の認識方法および装置 | |
| JP2001285849A (ja) | 撮影システム | |
| JPH09322048A (ja) | 自動撮影カメラシステム | |
| JPH0837615A (ja) | 移動体撮影装置 | |
| JP4846203B2 (ja) | 画像領域設定装置及び画像領域設定方法 | |
| JP2005024971A (ja) | 撮影システム、照明システム、及び照明条件設定方法 | |
| JPH07154666A (ja) | ビデオカメラ | |
| JPH07140222A (ja) | 目標捕捉方式 | |
| JP2001145090A (ja) | 監視装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050222 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050315 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050513 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050712 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050722 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090729 Year of fee payment: 4 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090729 Year of fee payment: 4 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090729 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100729 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110729 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120729 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120729 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130729 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140729 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |