JP3995016B2 - 仮想3次元照明シーンを作成するためのシミュレーション方法、およびプログラム、システム - Google Patents

仮想3次元照明シーンを作成するためのシミュレーション方法、およびプログラム、システム Download PDF

Info

Publication number
JP3995016B2
JP3995016B2 JP2005518193A JP2005518193A JP3995016B2 JP 3995016 B2 JP3995016 B2 JP 3995016B2 JP 2005518193 A JP2005518193 A JP 2005518193A JP 2005518193 A JP2005518193 A JP 2005518193A JP 3995016 B2 JP3995016 B2 JP 3995016B2
Authority
JP
Japan
Prior art keywords
color component
lamp
data
luminaire
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005518193A
Other languages
English (en)
Other versions
JP2006511928A (ja
Inventor
伸之 柴野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Electric Works Co Ltd
Original Assignee
Matsushita Electric Works Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Works Ltd filed Critical Matsushita Electric Works Ltd
Publication of JP2006511928A publication Critical patent/JP2006511928A/ja
Application granted granted Critical
Publication of JP3995016B2 publication Critical patent/JP3995016B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05BELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10Controlling the light source
    • H05B47/155Coordinated control of two or more light sources
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05BELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10Controlling the light source
    • H05B47/165Controlling the light source following a pre-assigned programmed sequence; Logic control [LC]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Algebra (AREA)
  • Computational Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Analysis (AREA)
  • Image Generation (AREA)
  • Processing Or Creating Images (AREA)
  • Circuit Arrangement For Electric Light Sources In General (AREA)

Description

この発明は、一つまたはそれ以上の照明器具によって照らされる仮想3次元シーンを作成するためのシミュレーション方法、およびシミュレーションプログラム、シミュレーションシステムに関し、より詳細には、変化する照明シーンの動的なイメージの再現を実現するための上記シミュレーション方法等に関する。
動いている照明器具を用いた3次元の照明シーンをシミュレーションするための方法がこれまでに提案されている。典型的な方法としては、ラジオシティー法とレイトレース法であるが、両者ともかなり複雑な計算式に頼っており、それゆえ、こと一般的なコンピュータ装置を使用した場合には、照明シーンを再現する際に時間遅れを被ってしまう。そのため、上記方法は照明シーンの、ある静止イメージの再現に特に限定されており、変化する照明シーンのダイナミックなイメージの再現には、あまり適用されていない。
上記問題点に鑑みて、本発明は、変化する照明シーンを高速に再現できる、独自の3次元照明シーンシミュレーション用の方法、および、プログラム、システムを提供するために為されたものである。
本発明のシミュレーション方法は、少なくとも一つの照明器具を用いて照らされる仮想3次元シーンを作成するために提供されるものであって、上記照明器具により照らされる3次元オブジェクトについてのオブジェクトデータを取得するステップと、照明器具を特定し、上記3次元オブジェクトの空間内におけるこの照明器具の位置を決定して、この照明器具についての出力特性データと位置データとを取得するステップとを含む。上記オブジェクトデータは、個別要素の配列に変換され、各個別要素に固有のオブジェクト色成分値が取得される。このオブジェクト色成分値は、所定の色空間内での色成分ごとに割り当てられて各個別要素の色を特定する。上記オブジェクトデータは、上記照明器具についての上記出力特性データと上記位置データと共に演算処理され、各々の個別要素に与えられるランプ色成分値を取得する。このランプ色成分値は、上記の色空間内の色成分ごとに割り当てられて目的とする個別要素を照らす照明器具の色を特定する。上記演算処理に基づいて、各個別要素に関連する複数の要素毎ランプテーブルが作成され、対応する各個別要素の一つに与えられる上記ランプ色成分値を記憶する。その後、上記照明器具の出力特性データと位置データとの少なくとも一つを変化させ、その照明器具によって与えられるランプ色成分値を再計算処理し、最新の色分布を取得する。そしてこの最新の色分布を演算処理して上記オブジェクトの3次元照明シーンをレンダリングする。
本発明の新しい特徴は、上記の再計算処理が、出力特性データおよび/または位置データを変化させる照明器具によって照らされる個別要素を決定し、このようにして決定された個別要素にのみ関連する上記要素毎ランプテーブルを参照し、参照された要素毎ランプテーブルに記憶されたランプ色成分値を、変化した上記出力特性データ及び位置データの関数として修正し、修正されたランプ色成分値を対応する個別要素に割り当て、修正されたランプ色成分値を各個別要素の上記オブジェクト色成分値と組み合わせて、個別要素の配列全体にわたる最新の色分布を実現するステップを含む点にある。
従って、ランプ色成分値の再計算処理は、照明器具の出力特性および/または位置の変化によって影響を受けるものと決定された個別要素のみに限定することができ、それにより演算負荷を大幅に減少させ、照明器具の出力特性および/または位置の変化に迅速に反応して照明効果を高速に再現することが可能となる。従って、オブジェクトの連続して変化する照明シーンを動的なイメージとしてシミュレーションすることが容易に可能となる。
好ましい実施形態においては、2つ以上の照明器具を選択して、出力特性データおよび位置データを特定する。この場合、2つ以上の照明器具を変動成分として選択し、これらの照明器具の出力特性データと位置データとの内の少なくとも一つを変化させて、変動成分として選択された照明器具によって照らされる個別要素を決定する。その後、このようにして決定された個別要素のみに関連する要素毎ランプテーブル36が参照され、参照された要素毎ランプテーブルに記憶されたランプ色成分値が修正される。その後、参照された各要素毎ランプテーブル36内のランプ色成分値を合算して、各個別要素に関連する合計ランプ色成分値を求め、その合計ランプ色成分値を個別要素に割り当てて、個別要素の配列全体にわたる最新の色分布を実現する。
本発明はまた、上記方法を達成するためのシミュレーションプログラムも提供する。このプログラムは、記録媒体に保持されてコンピュータにて実行され、照明器具により照らされる3次元オブジェクトについてのオブジェクトデータを入力するための入力インターフェイスを与える入力モジュールと、一つまたはそれ以上の照明器具を選択すると共に上記3次元オブジェクトの空間内における選択された照明器具の位置を決定するためのランプ設定インターフェイスを与えるランプ設定モジュールと、上記ランプ設定インターフェイスで照明器具とその位置が選択されたことに呼応して、選択された照明器具の出力特性データと位置データとを与える照明データ処理モジュールとを含む。また、上記オブジェクトデータを個別要素の配列に変換し、各個別要素に固有のオブジェクト色成分値を取得するために、オブジェクト処理モジュールが設けられる。また、上記のオブジェクトデータ及び選択された各照明器具についての上記出力特性データと上記位置データとを演算処理して、各々の個別要素に与えられるランプ色成分値を取得し、それぞれが各個別要素の一つに対応する複数の要素毎ランプテーブルを与え、上記ランプ色成分値を記憶するために、標準データ作成モジュールが設けられる。要素毎ランプテーブルは、後に述べるメモリ内に配置される。さらにこのプログラムは、照明制御モジュールを備え、この照明制御モジュールは照明制御インターフェイスを与えて、このインターフェイスにおいて、上記照明器具の内の少なくとも一つを選択すると共に、選択された照明器具の上記出力特性データと上記位置データとの内の少なくとも一つについての変化が選択される。また、再計算モジュールが設けられ、再計算モジュールは、照明器具によって照らされる個別要素を決定しこのようにして決定された個別要素にのみ関連する上記要素毎ランプテーブルを参照する。再計算モジュールは、参照された要素毎ランプテーブルに記憶されたランプ色成分値を、変化した上記出力特性データ及び位置データの関数として修正する。さらに、色割付けモジュールが設けられ、修正されたランプ色成分値を対応する個別要素に割り当て、修正されたランプ色成分値と各個別要素の上記オブジェクト色成分値とを組み合わせて、個別要素の配列全体にわたる最新の色分布を実現する。さらに、上記の最新の色分布を処理して上記オブジェクトの3次元照明シーンの画像をレンダリングし、ディスプレイ上にこの画像を提示する画像信号を作成するために、画像レンダリングモジュールが設けられる。
本発明はさらに、上記方法を達成するためのシミュレーションシステムも提供する。このシステムは、入力装置を備えたコンピュータと、ディスプレイによって実現され、このシステムは、上記照明器具により照らされる3次元オブジェクトについてのオブジェクトデータを入力するための入力インターフェイスと、一つまたはそれ以上の照明器具を選択すると共に選択された照明器具の位置を決定するためのランプ設定インターフェイスと、照明器具とその位置が選択されたことに呼応して、選択された照明器具についての出力特性データと位置データと与えるための照明データ処理ユニットとを備える。また、上記のオブジェクトデータを個別要素の配列に変換し、各個別要素に固有のオブジェクト色成分値を取得するためにオブジェクト処理ユニットが設けられる。また、このシステムには、標準データ作成ユニットが含まれ、標準データ作成ユニットは、上記のオブジェクトデータ及び選択された各照明器具についての上記出力特性データと上記位置データとを演算処理して、各々の個別要素に与えられるランプ色成分値を取得し、それぞれが各個別要素の一つに対応する複数の要素毎ランプテーブルを与え、上記の色成分値を記憶する。また、このシステムには、照明制御インターフェイスが含まれ、照明制御インターフェイスにおいて、上記の照明器具の内の少なくとも一つを選択すると共に、その照明器具の上記出力特性データと上記位置データとの内の少なくとも一つについての変化を選択する。
また、照明器具によって照らされる個別要素を決定し、このようにして決定された個別要素にのみ関連する上記要素毎ランプテーブルを参照する再計算ユニットが備えられる。その後再計算ユニットは、参照されたテーブルに記憶されたランプ色成分値を、変化した上記出力特性データ及び位置データの関数として修正する。また、色割付けユニットも備えられ、修正されたランプ色成分値を対応する個別要素に割り当て、修正されたランプ色成分値を各個別要素の上記オブジェクト色成分値に組み合わせて、個別要素の配列全体にわたる最新の色分布を実現する。さらに、上記の最新の色分布を処理して上記オブジェクトの3次元照明シーンの画像をレンダリングし、ディスプレイ上にこの画像を提示する画像信号を作成するための、画像生成ユニットが備えられる。
好ましくは、再計算ユニットはフィルターを備え、このフィルターでは、上記ランプ設定インターフェイスで選択された照明器具の出力特性データと位置データとを取り出して、どの個別要素に所定の閾値よりも高い色成分値が割り当てられるかを決定し、このようにして決定された個別要素を有効要素として規定する。従って、このフィルターにより、上記有効要素のみに関連する要素毎ランプテーブルを参照することが可能になる。
上記画像生成ユニットは、好ましくは、視点セレクターを備え、この視点セレクターはオブジェクトの3次元照明シーンに対して複数の視点を与え、上記画像をディスプレイ上に提示する画像信号を作成する際に、いずれかの視点を選択する。この特徴により、オブジェクトの照明効果を試すためのプレビュー能力を高めることができる。
さらに、画像生成ユニットは、上記再計算ユニットがランプ色成分値を修正する毎に、オブジェクトの3次元照明シーンの画像を作り出し、画像信号を連続して発生させて動画として画像を表示するようにしてもよい。
これに関連して、このシステムは、動画の再生のために上記の連続した画像信号を保存するラスターメモリーを備えてもよい。
さらに、このシステムは、実際の照明器具に接続するためのコントロール出力インターフェイスを備えた付属品を備えていても良い。このコントロール出力インターフェイスは、上記ラスターメモリーに保持された上記画像信号を処理し、照明器具の出力特性データと位置データの少なくとも一つに対して行われた変化に対応させて、照明器具を動作させるためのコントロール信号を作成する。その結果、実際の照明器具を、シミュレーションされた照明シーケンスに正確に一致させて制御することが容易にできる。
好ましくは、このシステムは、照明器具の一つまたはそれ以上を選択するコントロール入力を受ける照明器具データ入力インターフェイスを備え、このコントロール入力は選択された照明器具の出力特性データ及び位置データの少なくとも一つに対する時系列変化を示す照明スケジュールを記述する。この照明器具データ入力インターフェイスは、上記の照明スケジュールに従ってランプ色成分値の修正を行うために、上記コントロール入力を上記再計算ユニットへ転送する。この照明器具データ入力インターフェイスを備えることで、照明器具をコントロールするために設計された専用の照明制御盤で作った、意図した照明スケジュールのシミュレーションと確認が容易になる。
本発明のこれらのおよびその他の有利な特徴は、添付された図面と併せてこれから述べる本発明の好ましい実施形態の説明によって明らかになるであろう。
図1を参照すると、そこには本発明に係るシミュレーションシステムが示されている。このシミュレーションシステムは、一つまたはそれ以上の照明器具を用いて照明される仮想3次元シーンを作成するためのもので、複数の照明器具を用いた舞台照明に適用されるが、舞台照明に限定されるものではない。図で示した実施形態では、説明を簡単にするために5つの照明器具、すなわちランプL001〜L005を用いたシステムを説明しているが、このシステムをその数の照明器具に限定されると解釈すべきではない。このシステムは、入力装置12を備えたコンピュータ10と、ディスプレイ14とを備える。このコンピュータは、照明シーンをシミュレーションするために、図1で示されるような機能ユニットとインターフェイスとを与えるようにプログラムされている。入力インターフェイス20は、3次元オブジェクト200、すなわち図4に示すような照明される舞台形状を描写したオブジェクトデータを与えるために、システムに備えられている。この目的のために、入力インターフェイス20は、入力装置12、すなわちキーボードやマウスを用いて3次元オブジェクト200を段階的に作成する作画能力を備えるように準備されている。なお、入力インターフェイス20は、あるイメージファイルを受けとり、その内容をこのシステムで演算処理するのに適したフォーマットの3次元オブジェクトへ変換するように設計されていてもよい。
オブジェクト処理ユニット22は、3次元オブジェクト200を、図5に示すような個別要素の配列に変換するために備えられており、各個別要素に固有のオブジェクト色成分値を取得する。オブジェクト色成分値は、所定の色空間の個々の色成分、例えば(R,G,B)成分の強さを意味し、従ってオブジェクト色成分値は各個別要素の色を特定するために組み合わせられる。本実施形態においては、オブジェクト色成分(R,G,B)値は、0〜1の間に設定されており、対応する色は個々の色成分(R,G,B)の関数として決定される。各個別要素に対するオブジェクト色成分値は、要素の座標と共に、図6に示すようなデータ構造を持つオブジェクト情報テーブル32に記録され、メモリ30内に読み込まれる。
このシステムは、オブジェクトを照らすのに使用される一つまたはそれ以上の照明器具およびその照明器具の3次元オブジェクトの空間内における位置を指定するために、ランプ設定インターフェイス40を備える。この目的のために、ランプ設定インターフェイス40は、プリセットされたものの中から識別コードや名前によって照明器具を選択するように、ユーザーを促す。ランプ設定インターフェイス40に関連して、照明データ処理ユニット42が設けられており、照明データ処理ユニット42は、メモリ30の中に設けられた出力特性データテーブル34から、選択された照明器具の出力特性データを取り出し、さらにそのデータを演算処理するために標準データ作成ユニット52に送り出す。出力特性データテーブル34は、図6に示すように、各照明器具のランプ成分(RGB)値を、方向依存パラメータと共に記憶している。方向依存パラメータは、英国球帯法分類に基づいて規定されており、照明器具が位置していると仮定した単位球体の中心から単位球体の表面のある点に放射される光の強さ(例えば、カンデラ)の比(パーセンテージ)を与える。単位球体の表面の点は単位球体の緯度と経度によって表される。従って、3次元オブジェクトの空間内における照明器具の位置データを与えれば、選択された照明器具からオブジェクトのいずれかの点や要素が受ける光のランプ色成分値を演算するのは容易である。その演算は、照明データ処理ユニット42の出力に基づいて標準データ作成ユニット52にて行われる。つまり、照明データ処理ユニット42は、出力特性データテーブル34から選択された照明器具の出力特性データを取りだし、各個別要素の座標と共に標準データ作成ユニット52へそのデータを引き渡す。
照明データ処理ユニット42からのデータに基づいて、標準データ作成ユニット52は、オブジェクト200の各個別要素が選択された各照明器具から受けるランプ色成分(R,G,B)値を演算し、各個別要素に対して要素毎ランプテーブル36を構築する。各要素毎ランプテーブル36は、対応する各個別要素を照らす個々の照明器具のランプ色成分(R,G,B)値を、図5および図6に示すように合計成分値と共に、リストアップしている。各ランプ色成分値(Cp)は、次の式によって求められる。

Cp= Lcd・cosθ/r2 (1)

ここで、Lcdは色成分値の強さ(カンデラ)であり、cosθは要素の法線と照明器具から要素へのベクトルとの内積であり、rは照明器具と個別要素との間の距離である。
色成分値は、色成分の大きさを表すために、色成分パワーや色成分エネルギーと呼ばれることもある。
この関係において、標準データ作成ユニット52は、所定の閾値よりも何れかの成分が大きいランプ色成分値を与える照明器具を特定し、その結果、各要素毎ランプテーブル36は、そのようにして特定された照明器具のみの識別コードをランプ色成分値と共にリストアップすることに注意する。この目的のために、標準データ作成ユニット52は、個別要素まで到達する選択された照明器具のランプ色成分値とそれぞれの閾値とを比較するフィルターを備え、照明器具の全てのランプ色成分値が対応する閾値よりも小さければ、その照明器具は非影響付与器具として無視する。照明器具が、ある特定の個別要素に対して、対応する閾値よりも小さいランプ色成分値しか与えないと決定されれば、その特定の個別要素はその照明器具によって影響されない、すなわち照らされないと判断され、要素毎ランプテーブル36に空白(ヌル)レコードが与えられる。このようにして、要素毎ランプテーブル36は各個別要素に対して作成される。このように取得された要素毎ランプテーブル36は組み合わされて、オブジェクト情報テーブル32に記憶されたオブジェクト色成分値と共同して、オブジェクトの初期照明状態を規定する標準データ、すなわち要素の配列全体にわたる色分布を与える。このやり方は、後に色割付けユニット72と画像生成ユニット80に関して説明するのと同じやり方である。
照明制御インターフェイス60は、照明器具を選択する指示と、出力特性データおよび/または位置データに関連する変化とを受け取るために設けられている。照明制御インターフェイス60は、使用者が意図する照明制御方法を指定する指示をキーボードおよび/またはマウスを介して入力するように使用者を促すフォームをディスプレイ14上に与える。そして、時系列の指示が入力され、出力特性データおよび/または位置データを、変化する照明がオブジェクトに与える影響をシミュレーションするための時間に対して、変化させるための照明コントロールスケジュールが与えられる。そのような照明コントロールスケジュールは、外部記録装置90に適切なフォーマットで保存され、そこから照明器具データ入力インターフェイス62を介して照明制御インターフェイス60へコントロール入力として転送されてもよい。照明器具L001〜L005を動作させるために備えられた専用の照明制御盤92から照明コントロールスケジュールを与えても良い。
指示が与えられるたびに、再計算ユニット70は、選択された照明器具の出力特性データおよび位置データを出力特性データテーブル34およびオブジェクト情報テーブル32から取り出すように応答し、個別要素のうちのどの一つあるいはそれ以上の個別要素が選択された照明器具によって影響を及ぼされるのかを決定する。すなわち、個別要素が受けるランプ色成分値のうちのいずれかが対応する閾値を超えた時に、その特定の個別要素は、選択された照明器具によって影響を受ける、すなわち照明されるものとして決定される。以下においては、適切と思われる時には、特定の照明器具によってそのように影響を受けると決定された特定の個別要素については、簡単に有効要素と呼び、有効要素に影響を与えた照明器具については、簡単に影響付与器具と呼ぶものとする。
次に、再計算ユニット70は、有効要素に関連する要素毎ランプテーブル36のみを参照し、出力特性データおよび位置データの関数としてランプ色成分値を修正する。修正は、各色成分(R,G,B)値に対して上述の式(1)を用いて行われる。このようにして、再計算ユニット70は、有効要素のみに関連する要素毎ランプテーブル36を参照し、影響付与器具のみに関連のある色成分値を修正する計算操作を行い、個々の有効器具の各色成分値を合算したものを与える。
例えば、特定の照明器具を移動させる、或いはその投影角を変化させるように制御する場合、再計算ユニット70は、まず、オブジェクト情報テーブル32と出力特性データテーブル34を参照して、その照明器具、すなわち影響付与器具、によって照らされる有効要素を決定し、同時に、この特定の照明器具によってもはや照らされることのない非有効要素を決定する。次に、再計算ユニット70は、有効要素にのみ関連する要素毎ランプテーブル36を参照して、記録の中の影響付与器具に関連するランプ色成分値を修正し、同時に、非有効要素にのみ関連する同じ要素毎ランプテーブル36を参照して、影響付与器具に関連する記録を修正、つまり削除する。特定の照明器具を追加した場合、再計算ユニット70は、その照明器具によって照らされる有効要素を決定し、有効要素にのみ関連する要素毎ランプテーブル36を参照して、各対象要素に特有のランプ色成分値と共に、各テーブル36の中に影響付与器具の識別コードを示す記録を追加する。特定の照明器具が消去された場合、再計算ユニット70は、非有効要素を決定し、その非有効要素にのみ関連する要素毎ランプテーブル36を参照し、その照明器具に関係するテーブルの中の記録を破棄する。明細書および請求項全体を通じて本発明の本質を一貫して簡潔に説明するために、“修正する”という言葉は、色成分値に対して、一般に言うところの“追加する”、“破棄する”という意味を包含して使用されている。
各要素毎ランプテーブル36に対してこのようにして取得された色成分値の合計は、色割付けユニット72へと送られ、色割付けユニット72はオブジェクト情報テーブル32を参照して、各対応する有効要素に対するオブジェクト色成分値と上記合計とを組み合わせ、個別要素の色を示すカラーコードを与える。例えば、カラーコードは、次の既知のRGB関数によって取得される。
カラーコード = RGB(exp1, exp2, exp3)
ここで、exp1は赤色成分値×255で、exp2は緑色成分値×255、exp3は青色成分値×255である。
次に、色割付けユニット72は、個別要素の配列全体にわたる最新の色分布を与え、それを画像演算処理ユニット80へ転送する。画像演算処理ユニット80は、画像レンダリング部82を有し、画像レンダリング部82は最新の色分布を演算処理し、オブジェクトの3次元照明シーンの画像をレンダリングし、ディスプレイ14上にこの画像を提示する画像信号を作成する。レンダリングは、当業者にとって周知の適切な3次元モデリング技術に基づいて行われ、詳細については説明を省略する。画像演算処理ユニット80には、様々な視点のうちの一つを選択し、選択された視点から見た照明されたオブジェクトの画像を与えるよう画像レンダリング部82へ指示を出す、視点選択インターフェイス84が設けられる。画像の画像信号は、照明コントロールスケジュールに従って絶え間なく更新され、連続した画像、すなわち画像の動的なイメージをディスプレイ14上に与える。同時に、画像信号はラスターメモリー86に蓄積され、再生機能を可能にする。さらに、このシステムは、コントロール出力インターフェイス88を含み、コントロール出力インターフェイス88には、画像信号を保存するために外部記録装置90を接続したり、シミュレーションされた結果と正確なやり方で本物の照明器具L001〜L005を動作させるために、照明制御盤92を接続したりすることができる。
図2は、上述したシミュレーションを達成するためのプログラム構造を示している。このプログラムは、最新のプログラム言語の一つを用いて書かれており、コンピュータにインストールして実行するために、CD−ROMやディスクのような記録媒体に保存されている。このプログラムは、図1のシステムに関して説明したような特定のタスクを実行する様々なモジュールからなる。入力モジュール120は、入力インターフェイス20をディスプレイ14上に作成し、図4に示したような3次元オブジェクトを描写するためのオブジェクトデータを入力するように使用者を促す。オブジェクト処理モジュール122は、オブジェクト処理ユニット22を実現するために設けられ、オブジェクト情報テーブル32を作成するためにオブジェクトを演算処理する。ランプ設定モジュール140は、ランプ設定インターフェイス40を作成するために設けられ、照明データ処理モジュール142は、照明データ処理ユニット42を実現し、その照明データ処理ユニット42は、オブジェクト情報テーブル32から個別要素の座標を集めるのに加えて、メモリ30内に設けられた出力特性データテーブル34から選択された照明器具の出力特性データおよび位置データを集める。標準データ作成モジュール152は標準データ作成ユニット52を実現するために設けられ、要素毎ランプテーブル36を構築する。照明制御モジュール160は、照明制御インターフェイス60を与え、照明制御インターフェイス60は、オブジェクトの照明効果をシミュレーションするための照明コントロールスケジュールを設定するよう使用者を促す。再計算モジュール170は、再計算ユニット70を実現し、影響付与器具に対する有効要素のランプ色成分値を修正し、全ての影響付与器具からランプ色成分値を合算する。色割付けモジュール172は色割付けユニット72を実現し、画像レンダリング部82を実現する画像レンダリングモジュール182において演算処理が施される最新の色分布を取得し、画像信号を作成する。また、視点選択モジュール184は視点選択インターフェイス84を作成するために設けられており、選択された視点から見た結果得られる、照明されたオブジェクトの画像を与える。
上記システムおよびプログラムの動作について、図3のフローチャートを参照しながら再び簡単に説明する。オブジェクトデータの入力、および照明の設定が終わると(ステップ1,2)、オブジェクト処理と照明データ処理が行われ、オブジェクトの個別要素の座標に関する情報と、選択された照明器具の出力特性データおよび位置データが取得される(ステップ3,4)。その後、ランプ色成分値を各個別要素に割り当てるために標準データ演算処理が行われ、図5に示すように、各個別要素に対して要素毎ランプテーブル36が構築され、そして、ランプ色成分値とオブジェクト色成分値とを組み合わせて、図7に示すように、照明シーンの標準画像、すなわち初期画像が実現される。初期画像は、その後図8に示すように連続して更新され、照明制御、ランプ色成分値の再計算、色割付け、画像演算処理を行うループを繰り返す(ステップ6〜9)ことによって、シミュレーションされた動的イメージを与える。図7と図8の画像を比較すると、変化する照明の影響は、オブジェクトの部分の輝度の変化によって認識できる(実際の画像はカラーによって提示されている)。
本発明のシステムはさらに包囲線描画装置85を備え、包囲線描画装置85は、有効要素の座標に加えて照明器具の出力特性データと位置データを参照することで、選択された各照明器具から放射された光線の投射円錐を決定し、図9に示すように、オブジェクト200の照明効果を視覚的に強調するために、線か陰影のいずれかによって投影円錐の包囲線を描く。包囲線描画装置85もまたプログラムの対応するモジュールによって実現され、使用者にインターフェイス108を与え、インターフェイス108によって、使用者は個々の各照明器具に対して選択的に強調を付け加えることができる。
本発明の好ましい実施形態に係るシミュレーションシステムのブロック図である。 上記実施形態のシミュレーションプログラムを説明するブロック図である。 上記システムの動作を説明するフローチャートである。 照らされた3次元オブジェクトの斜視図である。 個別要素に分割されたオブジェクトと、各個別要素に割り当てられた要素毎ランプテーブルを説明する図である。 上記システムにおいて使用されるテーブルのデータ構造を説明する図である。 ある照明条件でシミュレーションされたシーンの斜視図である。 図7と異なる照明条件でシミュレーションされたシーンの斜視図である。 上記システムのディスプレイ上に映し出されたシミュレーションイメージを説明する図である。

Claims (10)

  1. 少なくとも一つの照明器具を用いて照らされる仮想3次元シーンを実現する照明シミュレーション方法であって、以下の過程よりなる:
    a)上記照明器具により照らされる3次元オブジェクトについてのオブジェクトデータを取得し、
    b)照明器具を特定し、上記3次元オブジェクトの空間内におけるこの照明器具の位置を決定して、この照明器具についての出力特性データと位置データとを取得し、
    c)上記のオブジェクトデータを個別要素の配列に変換して、各個別要素に固有のオブジェクト色成分値を取得し、このオブジェクト色成分値は、所定の色空間内での色成分ごとに割り当てられて各個別要素の色を特定し、
    d)上記のオブジェクトデータ及び上記照明器具についての上記出力特性データと上記位置データとを演算処理して、各々の個別要素に与えられるランプ色成分値を取得し、このランプ色成分値は上記の色空間内の色成分ごとに割り当てられて目的とする個別要素を照らす照明器具の色を特定し、
    e)各個別要素に関連する複数の要素毎ランプテーブルを設け、各テーブルに上記のランプ色成分値を記憶し、
    f)上記照明器具の出力特性データと位置データとの少なくとも一つを変化させ、
    g)上記照明器具によって照らされる個別要素を決定し、
    h)このようにして決定された個別要素のみに関連する上記要素毎ランプテーブルを参照して、参照されたテーブルに記憶されたランプ色成分値を、変化した上記出力特性データ及び位置データの関数として修正し、
    i)修正されたランプ色成分値を対応する個別要素に割り当て、修正されたランプ色成分値と上記のオブジェクト色成分値とを組み合わせて、個別要素の配列全体にわたる最新の色分布を実現し、
    j)この最新の色分布を処理して上記オブジェクトの3次元照明シーンをレンダリングする。
  2. 請求項1に記載のシミュレーション方法において、
    2つ以上の照明器具が選択されて、出力特性データ及び位置データが特定され、
    上記方法は、以下のステップを含む:
    i)2つ以上の照明器具を変動成分として選択し、これらの照明器具の出力特性データと位置データとの内の少なくとも一つを変化させて、変動成分として選択された照明器具によって照らされる個別要素を決定し、
    ii)このようにして決定された個別要素のみに関連する要素毎ランプテーブルを参照し、上記照明器具に対して、この参照された要素毎ランプテーブルに記憶されたランプ色成分値を修正し、
    iii)参照された各要素毎ランプテーブルでのランプ色成分値を合算して、各個別要素に関連する合計ランプ色成分値を求め、その合計ランプ色成分値を個別要素に割り当て、個別要素の配列全体にわたる最新の色分布を実現する。
  3. 複数の照明器具を用いて照らされる仮想3次元シーンを実現する照明シミュレーションプログラムあって、上記プログラムは記録媒体に保持されてコンピュータにて実行され、以下の構成を備える:
    a)入力モジュール;この入力モジュールは上記照明器具により照らされる3次元オブジェクトについてのオブジェクトデータを入力するための入力インターフェイスを与える;
    b)ランプ設定モジュール;このランプ設定モジュールは、一つまたはそれ以上の照明器具を選択すると共に上記3次元オブジェクトの空間内における選択された照明器具の位置を決定するためのランプ設定インターフェイスを与える;
    c)照明データ処理モジュール;このデータ処理モジュールは、上記ランプ設定インターフェイスで照明器具とその位置が選択されたことに呼応して、選択された照明器具についての出力特性データと位置データと与える;
    d)オブジェクト処理モジュール;この処理モジュールは上記のオブジェクトデータを個別要素の配列に変換し、各個別要素に固有のオブジェクト色成分値を取得する;このオブジェクト色成分値は、所定の色空間内での色成分ごとに割り当てられて各個別要素の色を特定する;
    e)標準データ作成モジュール;この標準データ作成モジュールは、上記のオブジェクトデータ及び選択された各照明器具についての上記出力特性データと上記位置データとを演算処理して、各々の個別要素に与えられるランプ色成分値を取得する;このランプ色成分値は上記の色空間内の色成分ごとに割り当てられて目的とする個別要素を照らす照明器具の色を特定する;この標準データ作成モジュールは、それぞれが各個別要素に対応する複数の要素毎ランプテーブルを与え、各テーブルが上記の色成分値を記憶する;
    f)照明制御モジュール;この照明制御モジュールは照明制御インターフェイスを与えて、このインターフェイスにおいて、上記照明器具の内の少なくとも一つを選択すると共に、選択された照明器具の上記出力特性データと上記位置データとの内の少なくとも一つについての変化が選択される;
    g)再計算モジュール;この再計算モジュールは上記少なくとも一つの照明器具によって照らされる個別要素を決定し、このようにして決定された個別要素のみに関連する上記要素毎ランプテーブルを参照して、参照された要素毎ランプテーブルに記憶されたランプ色成分値を、変化した上記出力特性データ及び位置データの関数として修正する;
    h)色割付けモジュール;この色割付モジュールは、修正されたランプ色成分値を対応する各個別要素に割り当て、修正されたランプ色成分値と各個別要素の上記オブジェクト色成分値とを組み合わせて、個別要素の配列全体にわたる最新の色分布を実現する;
    i)画像レンダリングモジュール;この画像レンダリングモジュールは上記の最新の色分布を処理して上記オブジェクトの3次元照明シーンの画像をレンダリングし、ディスプレイ上にこの画像を提示する画像信号を作成する。
  4. 複数の照明器具を用いて照らされる仮想3次元シーンを実現する照明シミュレーションシステムであって、このシステムは以下の構成を備える:
    a)入力インターフェイス;この入力インターフェイスでは、上記照明器具により照らされる3次元オブジェクトについてのオブジェクトデータが入力される;
    b)ランプ設定インターフェイス;このランプ設定インターフェイスは、一つまたはそれ以上の照明器具を選択すると共に上記3次元オブジェクトの空間内における選択された照明器具の位置を決定する;
    c)照明データ処理ユニット;この照明データ処理ユニットは、上記のランプ設定インターフェイスで照明器具とその位置が選択されたことに呼応して、選択された照明器具についての出力特性データと位置データと与える;
    d)オブジェクト処理ユニット;この処理ユニットは上記のオブジェクトデータを個別要素の配列に変換し、各個別要素に固有のオブジェクト色成分値を取得する;このオブジェクト色成分値は、所定の色空間内での色成分ごとに割り当てられて各個別要素の色を特定する;
    e)標準データ作成ユニット;この標準データ作成ユニットは、上記のオブジェクトデータ及び選択された各照明器具についての上記出力特性データと上記位置データとを演算処理して、各々の個別要素に与えられるランプ色成分値を取得する;このランプ色成分値は上記の色空間内の色成分ごとに割り当てられて目的とする各個別要素を照らす照明器具の色を特定する;
    f)メモリー;このメモリーは、それぞれが各個別要素に対応する複数の要素毎ランプテーブルを与えるもので、各テーブルが上記の色成分値を記憶する;
    g)照明制御インターフェイス、このインターフェイスは、上記の照明器具の内の少なくとも一つを選択すると共に、その照明器具の上記出力特性データと上記位置データとの内の少なくとも一つについての変化を選択する;
    h)再計算ユニット;この再計算ユニットは上記少なくとも一つの照明器具によって照らされる個別要素を決定し、このようにして決定された個別要素のみに関連する上記要素毎ランプテーブルを参照して、参照されたテーブルに記憶されたランプ色成分値を、変化した上記出力特性データ及び位置データの関数として修正する;
    i)色割付けユニット;この色割付けユニットは、修正されたランプ色成分値を対応する個別要素に割り当て、修正されたランプ色成分値を各個別要素の上記オブジェクト色成分値に組み合わせて、個別要素の配列全体にわたる最新の色分布を実現する;
    j)画像生成ユニット;この画像生成ユニットは、上記の最新の色分布を処理して上記オブジェクトの3次元照明シーンの画像をレンダリングし、ディスプレイ上にこの画像を提示する画像信号を作成する。
  5. 請求項4に記載のシステムにおいて、
    上記の再計算ユニットにフィルターが備えられ、このフィルターでは、上記ランプ設定インターフェイスで選択された照明器具の出力特性データと位置データとを取り出して、どの個別要素に所定の閾値よりも高い色成分値が割り当てられるかを決定し、このようにして決定された個別要素を有効要素として規定し、上記再計算ユニットは、上記有効要素にのみ関連する要素毎ランプテーブルを参照する。
  6. 請求項4に記載のシステムにおいて、
    上記画像生成ユニットは視点セレクターを備え、この視点セレクターはオブジェクトの3次元照明シーンに対して複数の視点を与え、上記画像をディスプレイ上に提示する画像信号を作成する際に、いずれかの視点を選択する。
  7. 請求項4に記載のシステムにおいて、
    上記画像生成ユニットは、上記再計算ユニットがランプ色成分値を修正する毎に、オブジェクトの3次元照明シーンの画像を作り出し、画像信号を連続して発生させて動画として画像を表示する。
  8. 請求項6に記載のシステムにおいて、
    さらにラスターメモリーを備え、動画の再生のために上記の連続した画像信号を保存する。
  9. 請求項8に記載のシステムにおいて、
    実際の照明器具に接続するコントロール出力インターフェイスが備えられ、
    このコントロール出力インターフェイスは、上記ラスターメモリーに保持された上記画像信号を処理し、上記照明制御インターフェイスで選択された照明器具の出力特性データと位置データの少なくとも一つに対して行われた変化に対応させて、照明器具を動作させるためのコントロール信号を作成する。
  10. 請求項4に記載のシステムにおいて、
    上記照明器具の一つまたはそれ以上を選択するコントロール入力を受ける照明器具データ入力インターフェイスが備えられ、このコントロール入力は選択された照明器具の出力特性データ及び位置データの少なくとも一つに対する時系列変化を示す照明スケジュールを記述し、
    この照明器具データ入力インターフェイスは、上記コントロール入力を上記再計算ユニットへ転送して、上記の照明スケジュールに応じてランプ色成分の修正を行う。
JP2005518193A 2003-03-26 2004-03-25 仮想3次元照明シーンを作成するためのシミュレーション方法、およびプログラム、システム Expired - Fee Related JP3995016B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2003085577 2003-03-26
PCT/JP2004/004234 WO2004086824A1 (en) 2003-03-26 2004-03-25 Simulation method, program, and system for creating a virtual three-dimensional illuminated scene

Publications (2)

Publication Number Publication Date
JP2006511928A JP2006511928A (ja) 2006-04-06
JP3995016B2 true JP3995016B2 (ja) 2007-10-24

Family

ID=33095032

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005518193A Expired - Fee Related JP3995016B2 (ja) 2003-03-26 2004-03-25 仮想3次元照明シーンを作成するためのシミュレーション方法、およびプログラム、システム

Country Status (8)

Country Link
US (1) US7268780B2 (ja)
EP (1) EP1532846B1 (ja)
JP (1) JP3995016B2 (ja)
KR (1) KR100662720B1 (ja)
CN (1) CN100589674C (ja)
AT (1) ATE466473T1 (ja)
DE (1) DE602004026812D1 (ja)
WO (1) WO2004086824A1 (ja)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1551178A1 (en) 2003-12-18 2005-07-06 Koninklijke Philips Electronics N.V. Supplementary visual display system
KR100653946B1 (ko) * 2005-08-03 2007-02-28 엠텍비젼 주식회사 3차원 그래픽 조명 처리 장치 및 그 방법
EP2039228A1 (en) * 2006-06-27 2009-03-25 Koninklijke Philips Electronics N.V. Color navigation system
DE602006016616D1 (de) 2006-11-01 2010-10-14 Abb Research Ltd Simulator-Anwendungsmethode für ein Kommunikationssystem
CN101690406A (zh) * 2007-06-29 2010-03-31 皇家飞利浦电子股份有限公司 具有用于交互地改变照明系统内设置的用户界面的光控制系统以及使用用户界面交互地改变照明系统内设置的方法
TW200925491A (en) 2007-11-06 2009-06-16 Koninkl Philips Electronics Nv Light control system and method for automatically rendering a lighting atmosphere
US8584939B2 (en) * 2008-05-09 2013-11-19 Lutron Electronics Co., Inc. Merchandise display systems for lighting control devices
KR100926076B1 (ko) * 2009-06-29 2009-11-11 주식회사 포트론 구형 엘이디 램프 및 그 구동 방법
WO2011024109A1 (en) * 2009-08-27 2011-03-03 Koninklijke Philips Electronics N.V. Apparatus for lighting objects
CN101990345A (zh) * 2010-08-24 2011-03-23 北京水晶石数字科技有限公司 一种三维软件控制灯光的方法
CN101990346A (zh) * 2010-08-24 2011-03-23 北京水晶石数字科技有限公司 一种三维软件控制灯光的系统
CN102740536A (zh) * 2011-04-12 2012-10-17 上海广茂达光艺科技股份有限公司 家庭情调灯光场景的编辑方法
US8700210B2 (en) * 2011-09-29 2014-04-15 Aesynt Incorporated Systems, methods and computer program products for visually emphasizing portions of a medication storage device
US10465882B2 (en) * 2011-12-14 2019-11-05 Signify Holding B.V. Methods and apparatus for controlling lighting
US9014828B2 (en) * 2012-03-22 2015-04-21 Abl Ip Holding Llc Lighting controller
TWI471064B (zh) * 2012-07-27 2015-01-21 Artilect Green Co Ltd 燈光調整系統及其操作方法
JP2014081924A (ja) * 2012-09-26 2014-05-08 Koizumi Lighting Technology Corp 照明シミュレーション装置、照明シミュレーション方法、プログラム、および媒体
JP5948201B2 (ja) * 2012-09-28 2016-07-06 コイズミ照明株式会社 照明シミュレーション装置、照明シミュレーション方法、プログラム、および媒体
WO2014064629A1 (en) * 2012-10-24 2014-05-01 Koninklijke Philips N.V. Assisting a user in selecting a lighting device design
US9510419B2 (en) 2014-11-20 2016-11-29 Abl Ip Holding Llc Temperature adjusted dimming controller
KR102502449B1 (ko) 2015-10-05 2023-02-22 삼성전자주식회사 조명을 디스플레이하는 방법 및 장치
WO2017063556A1 (zh) * 2015-10-12 2017-04-20 得能创科有限公司 自动实现灯控场景的方法和系统
CN105682329A (zh) * 2016-04-19 2016-06-15 倪启又 一种基于tcp/ip协议的舞台灯具及其控制系统
US20200187334A1 (en) * 2018-12-10 2020-06-11 Electronic Theatre Controls, Inc. Systems and methods for generating a lighting design
DE102019102252A1 (de) * 2019-01-30 2020-07-30 Trilux Gmbh & Co. Kg Verfahren zur Unterstützung der Installation eines Sensors bzw. einer Leuchte in Beleuchtungssystemen
US20200257831A1 (en) * 2019-02-13 2020-08-13 Eaton Intelligent Power Limited Led lighting simulation system
CN111913583A (zh) * 2020-08-18 2020-11-10 广州励丰文化科技股份有限公司 一种可视化效果展示方法及服务器

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5225667B1 (ja) * 1971-04-18 1977-07-08
US5307295A (en) * 1991-01-14 1994-04-26 Vari-Lite, Inc. Creating and controlling lighting designs
US5488700A (en) * 1993-07-30 1996-01-30 Xerox Corporation Image rendering system with local, adaptive estimation of incident diffuse energy
US5406176A (en) * 1994-01-12 1995-04-11 Aurora Robotics Limited Computer controlled stage lighting system
US5867166A (en) * 1995-08-04 1999-02-02 Microsoft Corporation Method and system for generating images using Gsprites
JP3087640B2 (ja) * 1996-01-16 2000-09-11 株式会社日立製作所 グラフィックプロセッサ及びシステム
WO2002101702A2 (en) * 2001-06-13 2002-12-19 Color Kinetics Incorporated Systems and methods of controlling light systems
WO2003015477A1 (en) * 2001-07-23 2003-02-20 Martin Professional A/S Creating and sharing light shows

Also Published As

Publication number Publication date
JP2006511928A (ja) 2006-04-06
EP1532846B1 (en) 2010-04-28
DE602004026812D1 (de) 2010-06-10
US20060007228A1 (en) 2006-01-12
CN100589674C (zh) 2010-02-10
KR20050051677A (ko) 2005-06-01
US7268780B2 (en) 2007-09-11
WO2004086824A1 (en) 2004-10-07
KR100662720B1 (ko) 2006-12-28
CN1706228A (zh) 2005-12-07
ATE466473T1 (de) 2010-05-15
EP1532846A1 (en) 2005-05-25

Similar Documents

Publication Publication Date Title
JP3995016B2 (ja) 仮想3次元照明シーンを作成するためのシミュレーション方法、およびプログラム、システム
JP5059026B2 (ja) 視聴環境制御装置、視聴環境制御システム、及び視聴環境制御方法
JP2002197448A (ja) 画像計測システム及びその方法、並びにそれに用いられる記録媒体、搬送波送信装置及び搬送波受信装置
CN116506993A (zh) 灯光控制方法及存储介质
JP7031365B2 (ja) 光環境評価装置、及びプログラム
US20200257831A1 (en) Led lighting simulation system
CN111586942B (zh) 舞台灯具的控制方法及装置
JP2019145333A (ja) 照明システムの制御方法および照明システム
CN111601420B (zh) 控制方法、计算机可读介质和控制器
JP2020136152A (ja) 照明演出装置および照明演出方法
CN117459663B (zh) 一种投射光自校正拟合与多色彩重定位方法及装置
WO2024029154A1 (ja) プラネタリウムシステム
JP6410079B2 (ja) 光投影装置及びそれを用いた照明装置
US20150029714A1 (en) Method and system for lighting control
WO2023286568A1 (ja) データ処理装置、照明制御システム及び、照明制御データ生成方法
JPH06301796A (ja) 三次元画像生成方法及び三次元画像生成装置
JP3796318B2 (ja) 灯具の照度に応じた色画像の生成及び表示方法
CN116630478A (zh) 对图像中发光体添加光芒特效的方法、系统及相关设备
WO2023282092A1 (ja) 照明システム、処理端末、及び、照明制御データ生成方法
CN117424969A (zh) 灯光控制方法、装置、移动终端及存储介质
US20050024373A1 (en) System and method for combining parametric texture maps
CN117424970A (zh) 灯光控制方法、装置、移动终端及存储介质
JP2023531605A (ja) デジタル画像におけるハローの補正およびその補正を実施するためのデバイス
CN117545123A (zh) 一种led光源的亮度补偿方法
JP2024025479A (ja) 演出データ生成方法及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20051124

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070710

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070723

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100810

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100810

Year of fee payment: 3

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100810

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110810

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120810

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130810

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees