JP3677987B2 - 追尾照明装置 - Google Patents

追尾照明装置 Download PDF

Info

Publication number
JP3677987B2
JP3677987B2 JP04841898A JP4841898A JP3677987B2 JP 3677987 B2 JP3677987 B2 JP 3677987B2 JP 04841898 A JP04841898 A JP 04841898A JP 4841898 A JP4841898 A JP 4841898A JP 3677987 B2 JP3677987 B2 JP 3677987B2
Authority
JP
Japan
Prior art keywords
irradiation
target
irradiation target
dimensional coordinates
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP04841898A
Other languages
English (en)
Other versions
JPH11251074A (ja
Inventor
栄一 福井
稔 吉田
健一 萩尾
寿一 川島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Electric Works Co Ltd
Original Assignee
Matsushita Electric Works Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Works Ltd filed Critical Matsushita Electric Works Ltd
Priority to JP04841898A priority Critical patent/JP3677987B2/ja
Publication of JPH11251074A publication Critical patent/JPH11251074A/ja
Application granted granted Critical
Publication of JP3677987B2 publication Critical patent/JP3677987B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05BELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10Controlling the light source
    • H05B47/155Coordinated control of two or more light sources

Landscapes

  • Studio Devices (AREA)
  • Non-Portable Lighting Devices Or Systems Thereof (AREA)
  • Image Analysis (AREA)
  • Circuit Arrangement For Electric Light Sources In General (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、宴会場、ホール、舞台などの会場において、出演者などの照射目標を追尾して投光する追尾照明装置に関するものである。
【0002】
【従来の技術】
この種の追尾照明装置としては、例えばスポットライトを用い、作業者が人物などの照射目標を目視しながらスポットライト本体を手動で操作し、照射目標を追尾して投光するものがあった。
また、トラックボールやジョイスティックやフェーダなどの操作手段により照明器具の照射方向を操作することのできる操作卓を用い、作業者が照射目標を目視しながら操作手段を操作して、照明器具を遠隔操作し、照射目標を追尾して投光するものもあった。
【0003】
また更に、劇場や各種ホールの舞台において、舞台の床面及びホリゾント面の図面や、固定されたビデオカメラによって撮影された舞台の映像を画面上に表示し、画面上に設けられた透明デジタイザを用いて照射目標を入力することにより、照明器具の照射方向を制御し、照射目標を追尾して投光するものもあった。
また近年、会場の天井面に超音波を検出するセンサを予め設置するとともに、超音波を出力する発信器を人物などの照射目標に持たせて、発信器からの超音波をセンサで検出することにより照射目標の3次元座標を求め、照明器具の照射方向を制御し、照射目標を自動的に追尾して投光するものが提案されている。
【0004】
【発明が解決しようとする課題】
しかしながら、上述した追尾照明装置の内、作業者が手動で操作するスポットライトを用いた追尾照明装置では、作業者が照射目標を目視しながらスポットライトを操作して、照射目標を追尾しているので、作業者がスポットライトの操作に習熟する必要があった。また、作業者がスポットライトの操作を行うので、宴会場などではスポットライトが床面上に設置されることになり、スポットライトの光軸が床面に対して略平行となるから、照射目標に色々な方向から光を照射して演出を行うことができなかった。
【0005】
また、照明器具を遠隔操作する操作卓を用いた追尾照明装置では、会場の天井面に設けられたミラースキャン型の照明器具などを遠隔操作して、照射目標に投光することができるが、この追尾照明装置では仕込み等により予め設定した照射パターンで照明器具の照射方向を離散的に指示することはできるものの、照射目標である人物の歩行に追尾して照明器具の照射方向を連続的に指示することができず、操作性が悪いという問題があった。
【0006】
また更に、画面上に設けられた透明デジタイザにより照射目標を入力する追尾照明装置では、ビデオカメラが固定なので舞台などの限られた空間では使用できるが、宴会場などの広い空間を照射目標の指示が可能な分解能で撮像して、照射目標を指定することはできなかった。
また、照射目標の3次元座標を求めて照射目標を自動的に追尾し、投光する追尾照明装置では、照射目標に持たせた発信器に不具合が発生した場合、照射目標を追尾することができず、異常な位置に光を照射してしまうという問題もあった。
【0007】
本発明は上記問題点に鑑みて為されたものであり、その目的とするところは、簡単な操作で照射目標を追尾して投光することのできる追尾照明装置を提供することにある。
【0008】
【課題を解決するための手段】
上記目的を達成するために、請求項1の発明では、照射方向が可変な投光手段と、投光手段によって照射可能な照射空間全体の映像を撮像することのできる撮像手段と、映像表示手段の映像内で照射目標を指示する照射位置指示手段と、映像上の照射目標の位置撮像手段の設置位置の3次元座標と撮像方向の傾き、焦点距離、および表示画面の映像の拡大率を含むパラメータとから照射目標の3次元座標を演算する座標演算手段と、座標演算手段とは異なる方法で照射目標の3次元座標を検出する対象位置検出手段と、照射位置指示手段による指示が無ければ対象位置検出手段から入力される照射目標の3次元座標及び投光手段の設置位置の3次元座標から投光手段の照射方向を演算するとともに、照射位置指示手段による指示があれば座標演算手段から入力される照射目標の3次元座標及び投光手段の設置位置の3次元座標から投光手段の照射方向を演算する照射方向演算手段とを備え、投光手段は照射方向演算手段の演算結果に応じて照射方向を制御しており、映像表示手段の映像上で照射目標を指示できるので、照射目標の入力を直感的に行うことができ、操作に不慣れな作業者でも投光手段の光を照射目標に容易に照射させることができ、そのうえ異なる種類の投光手段に対しても同様の操作で投光手段の照射方向を制御することができる。しかも、照射位置指示手段を用いて照射目標を連続的に指示すれば、投光手段の照射方向を連続的に制御して、投光手段の光を照射目標に容易に追尾させることができ、さらに投光手段の光で円形や矩形の照射パターンを描くというような演出も容易に行え、より高度な照明演出を行うことができる。さらに、投光手段によって照射可能な照射空間全体の映像を撮像手段は撮像することができるので、照射空間が広い場合でも照射目標を精度良く連続的に指示できる映像を得ることができ、宴会場のように広い会場にも十分利用することができる。
【0009】
さらに、照射方向演算手段は、座標演算手段及び対象位置検出手段から入力された照射目標の3次元座標に基づいて投光手段の照射方向を演算しており、対象位置検出手段の検出した照射目標の3次元座標により投光手段の照射方向を制御して、照射目標を自動的に追尾させることができる。そのうえ、照射位置指示手段により照射目標を指示することもできるので、対象位置検出手段の不具合によって照射目標の正しい3次元座標を検出できなくなった場合でも、照射位置指示手段を操作して投光手段の光を照射目標に追尾させることができ、追尾照明装置の信頼性が向上する。
【0010】
請求項の発明では、請求項の発明において、照射目標の3次元座標に高さ方向のオフセット量を与えるための第1のオフセット入力手段を設け、対象位置検出手段は、照射目標の3次元座標の検出値に、第1のオフセット入力手段から入力された高さ方向のオフセット量を加算した結果を照射方向演算手段に出力しており、投光手段の光を照射目標に自動的に追尾させて投光する際に、照射目標の位置を第1のオフセット入力手段から入力されたオフセット量だけ高さ方向に容易にずらすことができ、例えば対象位置検出手段によって検出された照射目標の位置が低く、投光手段の光が人物の顔よりも下に照射される場合、第1のオフセット入力手段を用いて照射目標の位置を高さ方向にずらし人物の顔付近に投光手段の光を照射させることができ、より高度な演出照明を行うことができる。
【0011】
請求項の発明では、請求項の発明において、座標演算手段は、照射目標の3次元座標の演算結果に、第1のオフセット入力手段から入力された高さ方向のオフセット量を加算した結果を照射方向演算手段に出力しており、照射位置指示手段を用いてマニュアル操作で投光手段の光を照射目標に追尾させる際に、照射目標の位置を第1のオフセット入力手段から入力されたオフセット量だけ高さ方向に容易にずらすことができ、例えば照射位置指示手段によって指示された照射目標の位置が低く、投光手段の光が人物の顔よりも下になってしまう場合、第1のオフセット入力手段を用いて照射目標の位置を高さ方向にずらし人物の顔付近に投光手段の光を照射させることができ、より高度な演出照明を行うことができる。
【0012】
請求項の発明では、請求項の発明において、照射目標の移動方向を検出する移動方向検出手段と、照射目標の移動方向に対する水平方向のオフセット量を与えるための第2のオフセット入力手段とを設け、対象位置検出手段は、移動方向検出手段が検出した照射目標の移動方向に対する第2のオフセット入力手段のオフセット量を照射目標の3次元座標の検出値に加算した結果を照射方向演算手段に出力しており、投光手段の光を照射目標に自動的に追尾させて投光する際に、第2のオフセット入力手段を用いて照射目標の位置を水平方向に容易にずらすことができ、例えば2つの照射目標に光を照射する時に一方の照射目標のみに光があたる場合、第2のオフセット入力手段を用いて2つの照射目標の中心に光が当たるように投光手段の照射方向を水平方向にずらすことにより、2つの照射目標にまんべんなく光を照射することができ、より高度な演出照明を行うことができる。
【0013】
請求項の発明では、請求項の発明において、座標演算手段は、照射目標の3次元座標の演算結果に、第2のオフセット入力手段から入力された水平方向のオフセット量を加算した結果を照射方向演算手段に出力しており、照射位置指示手段を用いてマニュアル操作で投光手段の光を照射目標に追尾させる際に、第2のオフセット入力手段を用いて投光手段の照射目標の位置を水平方向に容易にずらすことができ、例えば2つの照射目標に光を照射する時に一方の照射目標のみに光があたる場合、第2のオフセット入力手段を用いて2つの照射目標の中心に光が当たるように投光手段の照射方向を水平方向にずらすことにより、2つの照射目標にまんべんなく光を照射することができ、より高度な演出照明を行うことができる。
【0014】
【発明の実施の形態】
本発明の実施の形態を図面を参照して説明する。
基本構成
本発明に係る追尾照明装置の基本構成のブロック図を図1に示す。
この追尾照明装置は、照射方向が可変な投光手段1と、後述する座標演算手段6の演算結果に応じて撮像方向を変化させることにより、投光手段1によって照射可能な照射空間全体の映像を撮像することのできる例えばカメラなどの撮像手段2と、撮像手段2の撮像した映像を表示するCRT装置やLCD装置からなる映像表示手段3と、映像表示手段3の映像内で照射目標を指示するタッチパネルやマウスなどからなる照射位置指示手段4と、照射位置指示手段4によって指示された映像上の照射目標の位置及び撮像手段3の設置位置の3次元座標から照射目標の3次元座標を演算する座標演算手段5と、照射目標の3次元座標及び投光手段1の設置位置の3次元座標から投光手段1の照射方向を演算する照射方向演算手段6とを備え、投光手段1は照射方向演算手段6の演算結果に応じて照射方向を制御し、照射目標に光を照射する。なお、投光手段1としては、ミラースキャン型のスポットライトのように灯体は固定のままで光の反射面を駆動することによって照射方向(光軸)を制御するものでも良いし、灯体そのものを駆動して照射方向を制御するようなものでも良い。
【0015】
本装置の動作を図2のフローチャートに基づいて説明する。尚、投光手段1及び撮像手段2の設置位置の3次元座標は既知とする。
まず撮像手段2が照射目標を含む映像を撮像し(ステップ21)、映像表示手段3が撮像手段2の映像を表示画面に表示する(ステップ22)。映像表示手段3の表示画面内に表示された照射目標に光を照射させる場合、作業者は照射位置指示手段4を操作して表示画面内で照射目標を指示し、ステップ23において照射位置指示手段4からの入力があれば、座標演算手段5は照射位置指示手段4により指示された表示画面上の照射目標の位置と撮像手段2の設置位置の3次元座標とから照射目標の3次元座標を演算する(ステップ24)。撮像手段2は設置位置の3次元座標及び座標演算手段5から入力された照射目標の3次元座標に基づいて照射目標が映像内に入るように撮像方向を制御する(ステップ25)。また、照射方向演算手段6は、投光手段1の設置位置の3次元座標及び座標演算手段5から入力された照射目標の3次元座標に基づいて投光手段1の照射方向を演算し(ステップ26)、投光手段1は照射方向演算手段6の演算値に応じて照射方向を制御し、照射目標に光を投光する(ステップ27)。そして、ステップ21に戻り上述の処理を繰り返し実行する。一方、ステップ23において照射位置指示手段4からの入力がなければステップ21に戻り、ステップ21〜23の処理を繰り返し実行する。したがって、作業者が照射位置指示手段4を用いて照射目標を逐次指示することによって、上述したステップ24〜27の手順により投光手段2の照射方向が変化し、投光手段1の光をマニュアル操作で照射目標に追尾させることができる。また、作業者は映像表示手段3の表示画面上で照射目標を指示できるので、照射目標の指示を直感的に行うことができ、操作に不慣れな作業者でも投光手段の光を照射目標に容易に照射させることができる。そのうえ投光手段1の種類が異なる場合でも、同様の操作で投光手段1の光を照射目標に照射させることができ、操作性がさらに向上する。しかも、照射位置指示手段4を用いて映像表示手段3の表示画面で照射目標の指示が行えるので、照射目標を連続して指示することにより、投光手段の光で円形や矩形の照射パターンを描くというような演出も容易に行え、より高度な照明演出を行える。
【0016】
次に、投光手段1、撮像手段2及び照射目標Aが図3に示すような位置関係にある場合を例として、照射目標Aの3次元座標や投光手段1の照射方向を演算する方法について以下に説明する。尚、説明を簡単にするため、投光手段1の灯体1aの取付方向と照射方向(光軸)とが一致しており、撮像手段2の撮像方向が固定されているものとする。
【0017】
ここで、投光手段1の吊り位置(設置位置)Paの3次元座標を(xa ,ya ,za )、投光手段1の灯体1aの取付角度(光軸の傾き)即ち水平角(PAN)及び垂直角(TILT)をそれぞれΘp,Θtとし、撮像手段2の吊り位置(設置位置)Pbの3次元座標を(xb ,yb ,zb )、撮像手段2の取付角度(傾き)即ち水平角及び垂直角をそれぞれΦp,Φtとして、照射目標Aの位置Pcの3次元座標を(xc ,yc ,zc )とする。また、投光手段1の光軸(投光手段1の吊り位置Paと照射目標Aの位置Pcとを結ぶ直線)をLa、撮像手段2の撮像方向(撮像手段2の吊り位置Pbと照射目標Aの位置Pcとを結ぶ直線)をLbとする。
【0018】
上述した手順により、映像表示手段3は図4に示すような表示画面3aに撮像手段2の映像を表示する。ここで、表示画面3a上の照射目標Aの位置Pc’の2次元座標を(Δx,Δy)、照射目標Aの実際の位置Pcの床面からの高さをΔzとし、撮像手段2の焦点距離をf、表示画面3aに表示された映像の拡大率をkとする。
【0019】
いま、作業者がタッチパネルやマウスなどからなる照射位置指示手段4を用いて映像表示手段3の表示画面3a内で照射目標Aを指示するとともに、映像表示手段3に設けられた高さ入力部3bを操作して照射目標Aの実際の位置Pcの床面からの高さΔz(例えば1.5m)を指示する。この時、撮像手段2の撮像方向を示す直線Lbの方程式は次式で表される。なお、rは媒介変数とし、F,G,Hは括弧内のパラメータで表現される関数とする。
【0020】
x=rF(f,k,Φp,Φt,Δx,Δy,xb ,yb ,zb )
y=rG(f,k,Φp,Φt,Δx,Δy,xb ,yb ,zb )
z=−rH(f,k,Φp,Φt,Δx,Δy,xb ,yb ,zb )
ここで、撮像手段2の吊り位置Pb(xb ,yb ,zb )、傾きΦp,Φt、焦点距離f、表示画面3aの映像の拡大率kは既知であるので、この連立方程式をz=Δzとして解くと、媒介変数rが一意に求まり、照射目標Aの実際の位置Pc(xc ,yc ,zc )を求めることができる。投光手段1の吊り位置Pa(xa ,ya ,za )は既知であるので、吊り位置Paの3次元座標(xa ,ya ,za )と照射目標の位置Pcの3次元座標(xc ,yc ,zc )とから、2点を通る直線La(すなわち投光手段1の光軸)の方程式が求まる。一方、投光手段1の吊り位置Paを通る傾きΘp,Θtの直線Laの方程式は、
x=s・cos(Θp)・sin(Θt)
y=s・cos(Θp)・cos(Θt)
z=−s・sin(Θp)+Δz
のように表されるので、上式と2点Pa,Pcの3次元座標から求めた直線Laの方程式とが等しいとして、投光手段1の傾きΘp,Θtを求めることができる。而して、以上のような演算をステップ24〜27において行うことにより、照射目標Aの位置Pc(xc ,yc ,zc )と投光手段1の照射方向とを演算することができる。
【0021】
例えば、図5に示すように表示画面3a内で照射目標Aが矢印Bに沿って移動する場合、作業者が照射位置指示手段4を用いてPc1→Pc2→Pc3→Pc4→Pc5の順に照射目標Aの位置を指示することにより、上述の処理に従って投光手段1の光がPc1→Pc2→Pc3→Pc4→Pc5の順に移動し、投光手段1の光をマニュアル操作で照射目標Aに追尾させることができる。なお、照射位置指示手段4を用いて表示画面3a内の照射目標Aの位置Pc1,Pc2,Pc3,Pc4,Pc5を指示する際に、照射目標Pc1,Pc2,Pc3,Pc4,Pc5の床面からの高さΔzを高さ入力部3bにより逐次指示しても良いし、現在の入力値を使用しても良い。
【0022】
なお上述の基本構成では、撮像手段2は、座標演算手段5の演算値に基づいて照射目標Aが画像内に入るように撮像方向を制御しているが、照射目標Aが画像の中心になるように撮像方向を制御しても良いし、撮像方向が固定された広角の撮像手段2を用いて、投光手段1によって照射可能な照射空間全体の画像を撮像するようにしても良く、投光手段1によって照射可能な照射空間全体の画像を撮像手段2が撮像可能としたことにより、照射空間が広い場合でも照射目標Aを精度良く連続的に指示できる分解能の高い映像を得ることができ、宴会場のように広い会場にも十分利用することができる。
【0023】
(実施形態
本実施形態の追尾照明装置のブロック図を図6に示す。なお、基本的な構成及び動作は上述の基本構成と同様であるので、同一の構成要素には同一の符号を付して、その説明を省略する。
本実施形態では、上述した基本構成の追尾照明装置において、照射目標Aの位置Pc3次元座標を検出する対象位置検出手段7を設けており、照射方向演算手段6は、座標演算手段5及び対象位置検出手段7から入力された照射目標Aの位置Pcの3次元座標及び投光手段1の設置位置の3次元座標から投光手段1の照射方向を演算し、投光手段1は照射方向演算手段6から入力された照射方向の演算値に応じて照射方向を制御する。また、撮像手段2は設置位置の3次元座標及び対象位置検出手段7から入力された照射目標Aの位置Pcの3次元座標に応じて撮像方向を制御し、常に照射目標Aを含む映像を撮像する。
【0024】
なお、対象位置検出手段7による照射目標Aの位置Pcの3次元座標の検出は、例えば会場の天井面に超音波を検出するセンサを予め設置するとともに、照射目標Aに超音波を出力する発信器を持たせて、発信器から出力される超音波をセンサで検出することにより、照射目標Aの位置Pcの3次元座標を検出しても良いし、撮像手段2が撮像した照射目標Aの映像を画像処理することによって、照射目標Aの位置Pcの3次元座標を検出するようにしても良い。
【0025】
この追尾照明装置では、対象位置検出手段7が照射目標Aの位置Pcの3次元座標を検出し、照射方向演算手段6が、投光手段1の吊り位置Paの3次元座標及び対象位置検出手段7より入力された照射目標Aの位置Pcの3次元座標から投光手段1の照射方向を演算して、投光手段1が照射方向演算手段6の演算結果に応じて照射方向を制御しているので、自動的に照射目標Aを追尾して投光することができ、作業者は映像表示手段3に表示される映像から投光手段1の追尾状況を把握することができる。
【0026】
ここで、照射目標Aに持たせた発信器の故障などの対象位置検出手段7の不具合によって、照射目標Aの位置Pcの3次元座標を検出できなくなったり、誤検出した場合、投光手段1が投光を停止したり、異常な位置に光を照射してしまう。そこで、異常発生時には作業者が照射位置指示手段4を用いて照射目標Aを連続的に指示することにより、上述の基本構成と同様、投光手段1の光をマニュアル操作で照射目標Aに追尾させることができる。なお、照射方向演算手段6は、通常対象位置検出手段7が検出した照射目標Aの3次元座標を用いて照射方向を演算しており、照射位置指示手段4からの入力があった場合は、照射位置指示手段4によって指示された照射目標Aの3次元座標を用いて照射方向を演算する。
【0027】
(実施形態
本実施形態の追尾照明装置のブロック図を図7に示す。なお、基本的な構成及び動作は基本構成又は実施形態1の追尾照明装置と同様であるので、同一の構成要素には同一の符号を付して、その説明を省略する。本実施形態では、実施形態の追尾照明装置において、照射目標Aの位置Pcに高さ方向のオフセット量ΔHを与えるための第1のオフセット入力手段8を設けており、座標演算手段5は照射目標Aの3次元座標の演算値に第1のオフセット入力手段8から入力された高さ方向のオフセット量ΔHを加算した結果を照射方向演算手段6に出力するとともに、対象位置検出手段7は照射目標Aの3次元座標の検出値に第1のオフセット入力手段8から入力された高さ方向のオフセット量ΔHを加算した結果を照射方向演算手段6に出力する。
【0028】
ここで、照射方向演算手段6は、投光手段1の吊り位置Paの3次元座標と、座標演算手段5及び対象位置検出手段7から入力された照射目標Aの位置Pcの3次元座標とに基づいて、投光手段1の照射方向を演算しているので、第1のオフセット入力手段8から入力された高さ方向のオフセット量ΔHだけ照射目標Aの位置Pcをずらして、投光することができる。なお、第1のオフセット入力手段8は、例えば、図8に示すような映像表示手段3に設けられたオフセット入力部3dからなり、タッチパネルやマウスなどを用いてオフセット入力部3dにより高さ方向のオフセット量ΔH〔例えば(−200)cm〜(+200)cm〕を変化させることができる。
【0029】
次に、この追尾照明装置の動作を図9のフローチャトに基づいて説明する。尚、作業者が照射位置指示手段4を用いてマニュアル操作により照射目標Aを追尾して投光する場合の動作を例として説明を行う。ステップ21から24までの動作は基本構成の追尾照明装置と同様であるので、その説明は省略する。ステップ24において照射位置指示手段4から入力された照射目標Aの3次元座標を座標演算手段5が演算した後、ステップ28において第1のオフセット入力手段8により高さ方向のオフセット量ΔHが入力されると、座標演算手段5が、照射目標Aの3次元座標の演算値に、第1のオフセット入力手段8から入力された高さ方向のオフセット量ΔHを加算する(ステップ29)。次に、照射方向演算手段6が座標演算手段5より入力された照射目標Aの3次元座標と投光手段1の吊り位置Paの3次元座標とから照射方向を演算し、投光手段1が照射方向演算手段6の演算結果に基づいて照射方向を制御して(ステップ30)、以下上述の処理を繰り返し実行する。なお、ステップ28において第1のオフセット入力手段8からの入力がない場合、座標演算手段5はステップ24で演算した照射目標Aの3次元座標をそのまま照射方向演算手段6に出力し、上述と同様の処理を行う(ステップ30)。
【0030】
また、対象位置検出手段7が検出した照射目標Aの3次元座標から照射方向演算手段6が投光手段1の照射方向を演算し、投光手段1が照射方向演算手段6の演算結果に応じて照射方向を制御し、照射目標Aを自動的に追尾する場合に、第1のオフセット入力手段8を用いて高さ方向のオフセット量ΔHが入力されると、対象位置検出手段7が照射目標Aの3次元座標の検出値にオフセット量ΔHを加算した結果を照射方向演算手段6に出力しているので、上述と同様に、投光手段1の照射目標Aを高さ方向にオフセット量ΔHだけずらして、照射目標Aを自動的に追尾させることができる。
【0031】
このように、第1のオフセット入力手段8を用いて投光手段1の照射目標Aを高さ方向に所望のオフセット量ΔHだけずらすことができ、例えば図10(a)に示すように、対象位置検出手段7が、照射目標Aたる人物の肩口に取り付けた発信器11からの超音波を天井に設けたセンサで検出することによって、照射目標Aたる人物の3次元座標を検出して、投光手段1の光を照射目標Aたる人物に追尾させる場合、投光手段1からの光Cの中心が発信器11の位置、すなわち照射目標Aたる人物の肩口になるため、照射目標Aたる人物の上半身全体に正しく光を照射できない場合がある。そこで、第1のオフセット入力手段8を用いて高さ方向のオフセット量ΔHを入力することにより、図10(b)に示すように、投光手段1の照射目標Aの位置をPcからPc’へ高さ方向にオフセット量ΔHだけずらすことができ、照射目標Aたる人物の上半身全体に正しく光を照射することができる。すなわち、図11に示すように、座標演算手段5及び対象位置検出手段7がそれぞれ求めた照射目標の位置Pc(xc ,yc ,zc )に対して、高さ方向のオフセット量ΔHを加算した位置Pc’(xc ,yc ,zc +ΔH)に投光手段1の光を照射させることができ、より高度な演出照明を行うことができる。
【0032】
(実施形態
本実施形態の追尾照明装置のブロック図を図12に示す。なお、基本的な構成及び動作は基本構成又は実施形態1の追尾照明装置と同様であるので、同一の構成要素には同一の符号を付して、その説明を省略する。
本実施形態では、実施形態の追尾照明装置において、照射目標Aの移動方向を検出する移動方向検出手段9と、照射目標Aの移動方向に対する水平方向のオフセット量ΔLを与えるための第2のオフセット入力手段10とを設けており、座標演算手段5は照射目標Aの3次元座標の演算値に第2のオフセット入力手段10から入力された水平方向のオフセット量ΔLを加算した結果を照射方向演算手段6に出力するとともに、対象位置検出手段7は照射目標Aの3次元座標の検出値に第2のオフセット入力手段10から入力された水平方向のオフセット量ΔLを加算した結果を照射方向演算手段6に出力する。なお、移動方向検出手段9は、例えば撮像手段2が撮像した照射目標Aの画像を画像処理することによって照射目標Aの移動方向を検出しても良いし、照射目標Aの3次元座標の過去の履歴から照射目標Aの移動方向を検出しても良い。
【0033】
ここで、照射方向演算手段6は、投光手段1の吊り位置Paの3次元座標と、座標演算手段5及び対象位置検出手段7から入力された照射目標Aの位置Pcの3次元座標演算値とに基づいて、投光手段1の照射方向を演算しているので、第2のオフセット入力手段10から入力された水平方向のオフセット量ΔHだけずらした位置に光を照射させることができる。なお、第2のオフセット入力手段10は、例えば図13に示すように、照射目標Aの移動方向に対して前後方向(移動方向と同じ方向)のオフセット量ΔL1 を与えるためのオフセット入力部3eと、照射目標Aの移動方向に対して左右方向(移動方向と略直交する方向)のオフセット量ΔL2 を与えるためのオフセット入力部3fとからなり、タッチパネルやマウスなどを用いてオフセット入力部3e,3fを操作し、照射目標Aの移動方向に対して前後方向及び左右方向のオフセット量ΔL1 ,ΔL2 〔例えば(−200)cm〜(+200)cm〕を入力することができる。
【0034】
次に、この追尾照明装置の動作を図14に示すフローチャトに基づいて説明する。尚、作業者が照射位置指示手段4を用いてマニュアル操作により照射目標Aを追尾して投光する場合の動作を例として説明を行う。ステップ21から24までの動作は基本構成の追尾照明装置と同様であるので、その説明は省略する。ステップ24において座標演算手段5が照射目標Aの3次元座標を演算した後、ステップ31において第2のオフセット入力手段8により照射目標Aの移動方向に対して水平方向(前後及び左右)のオフセット量ΔLが入力されると、移動方向検出手段9が照射目標Aの移動方向を検出する(ステップ32)。次に、座標演算手段5が、移動方向検出手段9から入力された照射目標Aの移動方向と第2のオフセット入力手段10から入力された水平方向のオフセット量ΔLとに基づいてx軸,y軸方向のオフセット量ΔLx,ΔLyを演算し(ステップ33)、ステップ24で求めた照射目標Aの3次元座標に対してステップ33で求めたx軸,y軸方向のオフセット量ΔLx,ΔLyを加算する(ステップ34)。その後、ステップ35において、照射方向演算手段6が座標演算手段5より入力された照射目標Aの3次元座標と投光手段1の吊り位置Paの3次元座標とから照射方向を演算し、投光手段1が照射方向演算手段6の演算結果に基づいて照射方向を制御し、以下上述の処理を繰り返し実行する。なお、ステップ31において第2のオフセット入力手段10からの入力がない場合、座標演算手段5はステップ24で演算した照射目標Aの3次元座標をそのまま照射方向演算手段6に出力し、上述と同様の処理を行う(ステップ35)。
【0035】
また、対象位置検出手段7が検出した照射目標Aの3次元座標から照射方向演算手段6が投光手段1の照射方向を演算し、投光手段1が照射方向演算手段6の演算結果に応じて照射方向を制御し、照射目標Aを自動的に追尾する場合に、第2のオフセット入力手段10により照射目標Aの移動方向に対して水平方向のオフセット量ΔLが入力されると、対象位置検出手段7が照射目標Aの3次元座標の検出値に水平方向のオフセット量ΔLを加算した結果を照射方向演算手段6に出力するので、上述と同様に照射目標Aの位置を照射目標Aの移動方向に対して水平方向にオフセット量ΔLだけずらして、光を照射させることができる。
【0036】
このように、第2のオフセット入力手段10を用いて投光手段1の照射位置を照射目標Aの移動方向に対して水平方向にオフセット量ΔLだけずらしているので、例えば新郎新婦が入場する場合のように、図15(a)に示すように照射目標A1 ,A2 たる二人の人物が並んで移動する際に、対象位置検出手段7が、一方の照射目標A1 の肩口に取り付けた発信器11からの超音波を天井に設けたセンサ(図示せず)で検出することによって、一方の照射目標A1 の3次元座標を検出して、投光手段1の光を照射目標A1 ,A2 たる二人の人物に追尾させる場合、投光手段1からの光Cの中心が発信器11の位置、即ち一方の照射目標A1たる人物の肩口にあるため、一方の照射目標A1 のみに光があたり、両方の照射目標A1 ,A2 にまんべんなく光Cを照射することができない場合がある。そこで、第2のオフセット入力手段10により照射目標A1 の移動方向に対して水平方向のオフセット量ΔLを入力することにより、図15(b)に示すように、照射目標A1 の位置PcをPc″へオフセット量ΔLだけずらし、光Cをオフセット量ΔLだけずらして、照射目標A1 ,A2 たる二人の人物にまんべんなく光を照射することができ、より高度な演出照明を行うことができる。すなわち、基本構成又は実施形態1の追尾照明装置と同様に、座標演算手段5及び対象位置検出手段7がそれぞれ求めた照射目標の位置Pc(xc ,yc ,zc )に対し、オフセット量ΔLのx軸,y軸方向のオフセット量ΔLx,ΔLyを加算した位置Pc″(xc ,yc +ΔLx,zc +ΔLy)に投光手段1の光を照射させることができる。
【0037】
ここで、図16を参照して投光手段1の照射方向の演算方法を説明する。尚、図16は照射目標A1 をxy平面上に投影して図示している。ステップ32において、移動方向検出手段9が照射目標A1 のxy平面における移動方向を検出すると、座標演算手段5は、上述した基本構成の追尾照明装置と同様にして求めた照射目標A1 の位置Pcの演算値(xc ,yc )と、移動方向検出手段9から入力された照射目標A1の移動方向とから、照射目標A1 のxy平面内の移動方向を示す直線Lcの方程式を求めることができる。いま、照射目標A1 の移動方向に対して略直交する方向(左右方向)のオフセット量ΔLが第2のオフセット入力手段10から座標演算手段5に入力された場合、直線Lcをオフセット量ΔLだけ平行に移動させた直線Ldの方程式と、照射位置Pcを通る直線Lcに垂直な直線Leの方程式とが容易に求められ、直線Ldと直線Leの交点を求めることにより、実際に光を照射する位置Pc″(xc +ΔLx,yc +ΔLy)を求めることができ、照射目標Aの位置Pcを第2のオフセット入力手段10により入力されたオフセット量ΔLだけずらした位置Pc″に投光手段1の光を投光させることができる。尚、第2のオフセット入力手段10により照射目標A1 の移動方向と同じ方向(前後方向)のオフセット量ΔLが入力された場合も同様であるので、その説明は省略する。
【0038】
【発明の効果】
上述のように、請求項1の発明は、照射方向が可変な投光手段と、投光手段によって照射可能な照射空間全体の映像を撮像することのできる撮像手段と、撮像手段の映像を表示する映像表示手段と、映像表示手段の映像内で照射目標を指示する照射位置指示手段と、映像上の照射目標の位置撮像手段の設置位置の3次元座標と撮像方向の傾き、焦点距離、および表示画面の映像の拡大率を含むパラメータとから照射目標の3次元座標を演算する座標演算手段と、座標演算手段とは異なる方法で照射目標の3次元座標を検出する対象位置検出手段と、照射位置指示手段による指示が無ければ対象位置検出手段から入力される照射目標の3次元座標及び投光手段の設置位置の3次元座標から投光手段の照射方向を演算するとともに、照射位置指示手段による指示があれば座標演算手段から入力される照射目標の3次元座標及び投光手段の設置位置の3次元座標から投光手段の照射方向を演算する照射方向演算手段とを備え、投光手段は照射方向演算手段の演算結果に応じて照射方向を制御しており、映像表示手段の映像上で照射目標を指示できるので、照射目標の入力を直感的に行うことができ、操作に不慣れな作業者でも投光手段の光を照射目標に容易に照射させることができ、そのうえ異なる種類の投光手段に対しても同様の操作で投光手段の照射方向を制御でき、操作性がさらに向上するという効果がある。しかも、照射位置指示手段を用いて照射目標を連続的に指示すれば、投光手段の照射方向を連続的に制御して、投光手段の光を照射目標に容易に追尾させることができ、さらに投光手段の光で円形や矩形の照射パターンを描くというような演出も容易に行え、より高度な照明演出を行えるという効果もある。さらに、投光手段によって照射可能な照射空間全体の映像を撮像手段は撮像することができるので、照射空間が広い場合でも照射目標を精度良く連続的に指示できる映像を得ることができ、宴会場のように広い会場にも十分利用できるという効果もある。
【0039】
さらに、照射方向演算手段は、座標演算手段及び対象位置検出手段から入力された照射目標の3次元座標に基づいて投光手段の照射方向を演算しており、対象位置検出手段の検出した照射目標の3次元座標により投光手段の照射方向を制御して、照射目標を自動的に追尾できるという効果がある。そのうえ、照射位置指示手段により照射目標を指示することもできるので、対象位置検出手段の不具合によって照射目標の正しい3次元座標を検出できなくなった場合でも、照射位置指示手段を操作して投光手段の光を照射目標に追尾させることができ、追尾照明装置の信頼性が向上するという効果がある。
【0040】
請求項の発明は、照射目標の3次元座標に高さ方向のオフセット量を与えるための第1のオフセット入力手段を設け、対象位置検出手段は、照射目標の3次元座標の検出値に、第1のオフセット入力手段から入力された高さ方向のオフセット量を加算した結果を照射方向演算手段に出力しており、投光手段の光を照射目標に自動的に追尾させて投光する際に、照射目標の位置を第1のオフセット入力手段から入力されたオフセット量だけ高さ方向に容易にずらすことができ、例えば対象位置検出手段によって検出された照射目標の位置が低く、投光手段の光が人物の顔よりも下に照射される場合、第1のオフセット入力手段を用いて照射目標の位置を高さ方向にずらし人物の顔付近に投光手段の光を照射させることができ、より高度な演出照明を行えるという効果がある。
請求項の発明は、座標演算手段は、照射目標の3次元座標の演算結果に、第1のオフセット入力手段から入力された高さ方向のオフセット量を加算した結果を照射方向演算手段に出力しており、照射位置指示手段を用いてマニュアル操作で投光手段の光を照射目標に追尾させる際に、照射目標の位置を第1のオフセット入力手段から入力されたオフセット量だけ高さ方向に容易にずらすことができ、例えば照射位置指示手段によって指示された照射位置が低く、投光手段の光が人物の顔よりも下になってしまう場合、第1のオフセット入力手段を用いて照射目標の位置を高さ方向にずらし人物の顔付近に投光手段の光を照射させることができ、より高度な演出照明を行えるという効果がある。
【0041】
請求項の発明は、照射目標の移動方向を検出する移動方向検出手段と、照射目標の移動方向に対する水平方向のオフセット量を与えるための第2のオフセット入力手段とを設け、対象位置検出手段は、移動方向検出手段が検出した照射目標の移動方向に対する第2のオフセット入力手段のオフセット量を照射目標の3次元座標の検出値に加算した結果を照射方向演算手段に出力しており、投光手段の光を照射目標に自動的に追尾させて投光する際に、第2のオフセット入力手段を用いて照射目標の位置を水平方向に容易にずらすことができ、例えば2つの照射目標に光を照射する時に一方の照射目標のみに光があたる場合、第2のオフセット入力手段を用いて2つの照射目標の中心に光が当たるように投光手段の照射方向を水平方向にずらすことにより、2つの照射目標にまんべんなく光を照射することができ、より高度な演出照明を行えるという効果がある。
【0042】
請求項の発明は、座標演算手段は、照射目標の3次元座標の演算結果に、第2のオフセット入力手段から入力された水平方向のオフセット量を加算した結果を照射方向演算手段に出力しており、照射位置指示手段を用いてマニュアル操作で投光手段の光を照射目標に追尾させる際に、第2のオフセット入力手段を用いて投光手段の照射位置を水平方向に容易にずらすことができ、例えば2つの照射目標に光を照射する時に一方の照射目標のみに光があたる場合、第2のオフセット入力手段を用いて2つの照射目標の中心に光が当たるように投光手段の照射方向を水平方向にずらすことにより、2つの照射目標にまんべんなく光を照射することができ、より高度な演出照明を行えるという効果がある。
【図面の簡単な説明】
【図1】 基本構成の追尾照明装置を示すブロック図である。
【図2】 同上の動作を説明するフローチャートである。
【図3】 同上の投光手段と撮像手段と照射目標の位置関係を示す図である。
【図4】 同上の映像表示手段を説明する図である。
【図5】 同上の照射目標を追尾する動作を示す図である。
【図6】 実施形態の追尾照明装置を示すブロック図である。
【図7】 実施形態の追尾照明装置を示すブロック図である。
【図8】 同上の第1のオフセット入力部を示す図である。
【図9】 同上の動作を説明するフローチャートである。
【図10】 (a)(b)は同上の動作を説明する図である。
【図11】 同上の動作を説明する図である。
【図12】 実施形態の追尾照明装置を示すブロック図である。
【図13】 同上の第2のオフセット入力部を示す図である。
【図14】 同上の動作を説明するフローチャートである。
【図15】 (a)(b)は同上の動作を説明する図である。
【図16】 同上の動作を説明する図である。
【符号の説明】
1 投光手段
2 撮像手段
3 映像表示手段
4 照射位置指示手段
5 座標演算手段
6 照射方向演算手段

Claims (5)

  1. 照射方向が可変な投光手段と、投光手段によって照射可能な照射空間全体の映像を撮像することのできる撮像手段と、撮像手段の映像を表示する映像表示手段と、映像表示手段の映像内で照射目標を指示する照射位置指示手段と、映像上の照射目標の位置撮像手段の設置位置の3次元座標と撮像方向の傾き、焦点距離、および表示画面の映像の拡大率を含むパラメータとから照射目標の3次元座標を演算する座標演算手段と、座標演算手段とは異なる方法で照射目標の3次元座標を検出する対象位置検出手段と、照射位置指示手段による指示が無ければ対象位置検出手段から入力される照射目標の3次元座標及び投光手段の設置位置の3次元座標から投光手段の照射方向を演算するとともに、照射位置指示手段による指示があれば座標演算手段から入力される照射目標の3次元座標及び投光手段の設置位置の3次元座標から投光手段の照射方向を演算する照射方向演算手段とを備え、投光手段は照射方向演算手段の演算結果に応じて照射方向を制御することを特徴とする追尾照明装置。
  2. 照射目標の3次元座標に高さ方向のオフセット量を与えるための第1のオフセット入力手段を設け、対象位置検出手段は、照射目標の3次元座標の検出値に、第1のオフセット入力手段から入力された高さ方向のオフセット量を加算した結果を照射方向演算手段に出力することを特徴とする請求項1記載の追尾照明装置。
  3. 座標演算手段は、照射目標の3次元座標の演算結果に、第1のオフセット入力手段から入力された高さ方向のオフセット量を加算した結果を照射方向演算手段に出力することを特徴とする請求項2記載の追尾照明装置。
  4. 照射目標の移動方向を検出する移動方向検出手段と、照射目標の移動方向に対する水平方向のオフセット量を与えるための第2のオフセット入力手段とを設け、対象位置検出手段は、移動方向検出手段が検出した照射目標の移動方向に対する第2のオフセット入力手段のオフセット量を照射目標の3次元座標の検出値に加算した結果を照射方向演算手段に出力することを特徴とする請求項記載の追尾照明装置。
  5. 座標演算手段は、照射目標の3次元座標の演算結果に、第2のオフセット入力手段から入力された水平方向のオフセット量を加算した結果を照射方向演算手段に出力することを特徴とする請求項記載の追尾照明装置
JP04841898A 1998-02-27 1998-02-27 追尾照明装置 Expired - Fee Related JP3677987B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP04841898A JP3677987B2 (ja) 1998-02-27 1998-02-27 追尾照明装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP04841898A JP3677987B2 (ja) 1998-02-27 1998-02-27 追尾照明装置

Publications (2)

Publication Number Publication Date
JPH11251074A JPH11251074A (ja) 1999-09-17
JP3677987B2 true JP3677987B2 (ja) 2005-08-03

Family

ID=12802780

Family Applications (1)

Application Number Title Priority Date Filing Date
JP04841898A Expired - Fee Related JP3677987B2 (ja) 1998-02-27 1998-02-27 追尾照明装置

Country Status (1)

Country Link
JP (1) JP3677987B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9762786B2 (en) 2014-03-11 2017-09-12 Sony Corporation Image pickup device, light projection device, beam light control method, and program

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100686524B1 (ko) 2005-07-26 2007-02-26 한국정보통신대학교 산학협력단 면 조명 제어 장치
HRP20080188A2 (hr) * 2008-04-24 2009-10-31 Bili� Hrvoje Pozicioniranje daljinski upravljanih uređaja fiksno postavljenom kamerom
WO2010131212A1 (en) * 2009-05-14 2010-11-18 Koninklijke Philips Electronics N.V. Method and system for controlling lighting
GB2500566A (en) * 2012-01-31 2013-10-02 Avolites Ltd Automated lighting control system allowing three dimensional control and user interface gesture recognition
JP6659666B2 (ja) * 2014-08-11 2020-03-04 シグニファイ ホールディング ビー ヴィSignify Holding B.V. ライトシステムインタフェース及び方法
JP6750622B2 (ja) 2015-07-17 2020-09-02 日本電気株式会社 照射システム、照射方法および照射プログラム
US10025424B2 (en) 2016-08-15 2018-07-17 Ford Global Technologies, Llc Vehicle with headlight control
JP6868822B2 (ja) 2017-07-13 2021-05-12 パナソニックIpマネジメント株式会社 調光操作卓、それを用いた照明システム、及び照明器具の制御方法
CN109854996A (zh) * 2019-01-25 2019-06-07 太仓秦风广告传媒有限公司 一种智能追光式舞台及其工作方法
CN113577796B (zh) * 2021-07-29 2023-08-08 深圳市远均集成科技开发有限公司 一种基于机器视觉的活动舞台现场智能云中控管理平台
CN117425257B (zh) * 2023-11-21 2024-06-14 深圳市铭灏天智能照明设备有限公司 基于物联网的智能灯具控制方法及装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9762786B2 (en) 2014-03-11 2017-09-12 Sony Corporation Image pickup device, light projection device, beam light control method, and program

Also Published As

Publication number Publication date
JPH11251074A (ja) 1999-09-17

Similar Documents

Publication Publication Date Title
JP3677987B2 (ja) 追尾照明装置
JP5748521B2 (ja) レーザスキャナ及び動体検知方法
US20050270496A1 (en) Projector with a device for measuring angle of inclination
JP3891285B2 (ja) X線透視装置
EP2587215B1 (en) Method for image measuring system
JP2013539541A (ja) プロジェクタを有するレーザスキャナまたはレーザ追跡装置
JP2007120993A (ja) 物体形状測定装置
JP6659290B2 (ja) 試料位置合わせ方法および荷電粒子ビーム装置
JPH0946776A (ja) 遠隔指示装置および方法
JP5365960B2 (ja) 三次元2点間距離簡易計測装置
JP2006352495A (ja) 遠隔指示システム
JPH1012005A (ja) 自動追尾照明装置
KR100679550B1 (ko) 결함검출기 및 결함검출방법
JP2004347576A (ja) ビデオトータルステーション
JP3906512B2 (ja) 自動追尾照明装置
KR101116456B1 (ko) Ct 장치
JP2002324239A (ja) 情報呈示システム
JP2012175215A (ja) テレビカメラを取り付けた数値制御機器のテレビモニター画面の操作方法
JP2004037140A (ja) 推進工法における測量方法
JP4329355B2 (ja) X線撮影装置
JP4687853B2 (ja) X線透視撮影装置
JP2007101391A (ja) X線検査装置
JPH0546041B2 (ja)
JPH065107A (ja) 照明器具姿勢制御システム
JPH09180513A (ja) 照明制御装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040622

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040823

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050419

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050502

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080520

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090520

Year of fee payment: 4

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090520

Year of fee payment: 4

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100520

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100520

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110520

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120520

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120520

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130520

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130520

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees