JP5258387B2 - 照明装置、空間演出システム - Google Patents

照明装置、空間演出システム Download PDF

Info

Publication number
JP5258387B2
JP5258387B2 JP2008138564A JP2008138564A JP5258387B2 JP 5258387 B2 JP5258387 B2 JP 5258387B2 JP 2008138564 A JP2008138564 A JP 2008138564A JP 2008138564 A JP2008138564 A JP 2008138564A JP 5258387 B2 JP5258387 B2 JP 5258387B2
Authority
JP
Japan
Prior art keywords
illumination light
projection
illumination
shape
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2008138564A
Other languages
English (en)
Other versions
JP2009290354A (ja
Inventor
亮 河村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2008138564A priority Critical patent/JP5258387B2/ja
Publication of JP2009290354A publication Critical patent/JP2009290354A/ja
Application granted granted Critical
Publication of JP5258387B2 publication Critical patent/JP5258387B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Projection Apparatus (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Description

本発明は、ユーザが希望する場所のみに光を投影する照明装置、空間演出システムに関する。
従来より、照射光の形を変化させる照明装置としては、下記の非特許文献1に記載されているように、投影機器にゴボやマスクなどと呼ばれるフィルタを設置し、当該投影機器から照射光が出射される投影部を遮光している。これにより、フィルタを通過した照射光は、特定の形に切り抜かれた状態となる。具体的には、従来の照明システムでは、丸、三角、四角などで構成されるベース形状で切り抜かれたフィルタ(ゴボなど)を投影機器に取り付けて、照射光の輪郭に形をつけている。
また、従来の照明システムにおいて、特定の形状に沿って照射したい場合は、投影機器から出射された照射光の投影位置を当該特定の場所に合わせた後、投影機器の絞り機能やズーム機能によって大まかな照射光の形状合わせを行っている。
更に、従来においては、投影機器であるプロジェクタを照明器具(ライト)の代わりに使用して、空間演出を行う照明システムがある。この照明システムに使用される照明器具は、ムービングプロジェクタとも呼ばれる。このムービングプロジェクタは、照射光として映像光を出射する。このため、照射光の形、色を自由に設定して、動画として変化させることが可能である。
しかしながら、この照明システムであっても、照射光に形をつける場合は、従来の照明システムと同様に、ベース形状を用いて、大まかに被照射物体の形状に照射光の輪郭を合わせる手法が採用されている。
http://www.ushiolighting.co.jp/product/sstv.html http://www.tlt.co.jp/tlt/art/catalogue/av/av5.html
しかしながら、上述した従来の照明システムにおいては、予め用意しておいた形状フィルタや絞り、ズームを用いるので、被照射物体に対して大まかに照射光の形状をあわせることしかできない。また、ベース形状を映像に重ね合わせるマスク処理では、ベース形状を被照射物体の形状にあわせて作成することにより精度の高い形状あわせが可能であるが、ベース形状は2次元形状で作成される。このため、任意形状の被照射物体を異なる方向から見た場合には、異なるベース形状を用いる必要があり、異なる位置に配置された複数の投影装置によって、同時に被照射物体に向けて照射光を投影する技術には転用しがたい。
そこで、本発明は、上述した実情に鑑みて提案されたものであり、簡単な操作によってユーザが希望する形態で光を投影することができる照明装置、空間演出システムを提供することを目的とする。
本発明の態様に係る照明装置は、所定の空間に対して、所定の投影範囲の照明光を投影する投影手段と、前記投影手段が投影する投影範囲に投影される照明光の特徴を設定する照明光設定手段と、ユーザの操作に基づいて、前記照明光の形状を予め記憶されたベース形状群から選択し、当該選択された形状の照明光の投影範囲内の照明位置を設定する操作手段と、前記照明光設定手段により所定の照明光の特徴が設定され、前記操作手段により選択された所定のベース形状の照明光が、前記操作手段により設定された照明位置に投影されるように前記選択されたベース形状の照明光を投影するための描画処理を行い、前記投影手段に照明光を投影させる描画手段と、予め撮影された画像データをユーザに提示する表示手段と、前記投影手段の投影範囲と前記表示手段に提示された前記画像データとを一致させるように、前記投影手段と照明演出を行う照明位置との関係に起因して発生する前記投影手段から投影される照明光の歪みを補正するための補正パラメータを設定する補正パラメータ設定手段と、前記補正パラメータ設定手段により設定された歪み補正パラメータを用いて、前記投影手段から投影させる照明光の形状及び照明光の照明位置を補正する補正手段とを備え、 予め撮像された画像を前記表示手段により提示した状態にて、前記操作手段により設定された照明光の形状及び照明位置が入力された場合に、当該照明光が歪み無く投影されるように前記補正パラメータ設定手段によって補正パラメータを設定し、前記補正手段によって照明光を歪ませて、前記描画手段に描画処理を行わせることを特徴とする。
本発明の他の態様に係る照明装置は、所定の空間に対して、所定の投影範囲の照明光を投影する投影手段と、前記投影手段が投影する投影範囲に投影される照明光の特徴を設定する照明光設定手段と、ユーザの操作に基づいて、前記照明光の形状を予め記憶されたベース形状群から選択し、当該選択された形状の照明光の投影範囲内の照明位置を設定する操作手段と、前記照明光設定手段により所定の照明光の特徴が設定され、前記操作手段により選択された所定のベース形状の照明光が、前記操作手段により設定された照明位置に投影されるように前記選択されたベース形状の照明光を投影するための描画処理を行い、前記投影手段に照明光を投影させる描画手段と、前記投影手段によって投影された投影光によって照明演出される所定の空間を撮影する撮像手段と、前記撮像手段により撮影された画像データをユーザに提示する表示手段と、前記投影手段の投影範囲と前記撮像手段の撮像範囲とを一致させるように、前記投影手段と前記照明演出を行う照明位置との関係に起因して発生する前記投影手段から投影される照明光の歪みを補正するための補正パラメータを設定する補正パラメータ設定手段と、前記補正パラメータ設定手段により設定された歪み補正パラメータを用いて、前記投影手段から投影させる照明光の形状及び照明光の照明位置を補正する補正手段とを備え、 前記撮像手段により撮像された画像を前記表示手段により提示した状態にて、前記操作手段により設定された照明光の形状及び照明位置が入力された場合に、当該照明光が歪み無く投影されるように前記補正パラメータ設定手段によって補正パラメータを設定し、前記補正手段によって照明光を歪ませて、前記描画手段に描画処理を行わせることを特徴とする。
本発明の態様に係る空間演出システムは、展示物が配置された所定のショーウインドウ空間に対して、照明光を投影する投影手段と、前記投影手段が投影するショーウインドウ空間に投影される照明光の特徴を設定する照明光設定手段と、ユーザの操作に基づいて、前記照明光の形状を予め記憶されたベース形状群から選択し、当該選択された形状の照明光の投影範囲内の照明位置を設定する操作手段と、前記照明光設定手段により所定の照明光の特徴が設定され、前記操作手段により選択された所定のベース形状の照明光が、前記操作手段により設定された照明位置に投影されるように前記選択されたベース形状の照明光を投影するための描画処理を行い、前記投影手段に照明光を投影させる描画手段と、予め撮影された画像データをユーザに提示する表示手段と、前記投影手段の投影範囲と前記表示手段に提示された前記画像データとを一致させるように、前記投影手段と照明演出を行う照明位置との関係に起因して発生する前記投影手段から投影される照明光の歪みを補正するための補正パラメータを設定する補正パラメータ設定手段と、前記補正パラメータ設定手段により設定された歪み補正パラメータを用いて、前記投影手段から投影させる照明光の形状及び照明光の照明位置を補正する補正手段とを備え、予め撮像された画像を前記表示手段により提示した状態にて、前記操作手段により設定された照明光の形状及び照明位置が入力された場合に、当該照明光が歪み無く投影されるように前記補正パラメータ設定手段によって補正パラメータを設定し、前記補正手段によって照明光を歪ませて、前記描画手段に描画処理を行わせることを特徴とする。
本発明の他の態様に係る空間演出システムは、展示物が配置された所定のショーウインドウ空間に対して、照明光を投影する投影手段と、前記投影手段が投影するショーウインドウ空間に投影される照明光の特徴を設定する照明光設定手段と、ユーザの操作に基づいて、前記照明光の形状を予め記憶されたベース形状群から選択し、当該選択された形状の照明光の投影範囲内の照明位置を設定する操作手段と、前記照明光設定手段により所定の照明光の特徴が設定され、前記操作手段により選択された所定のベース形状の照明光が、前記操作手段により設定された照明位置に投影されるように前記選択されたベース形状の照明光を投影するための描画処理を行い、前記投影手段に照明光を投影させる描画手段と、前記投影手段によって投影された投影光によって照明演出される所定の空間を撮影する撮像手段と、前記撮像手段により撮影された画像データをユーザに提示する表示手段と、前記投影手段の投影範囲と前記撮像手段の撮像範囲とを一致させるように、前記投影手段と前記照明演出を行う照明位置との関係に起因して発生する前記投影手段から投影される照明光の歪みを補正するための補正パラメータを設定する補正パラメータ設定手段と、前記補正パラメータ設定手段により設定された歪み補正パラメータを用いて、前記投影手段から投影させる照明光の形状及び照明光の照明位置を補正する補正手段とを備え、 前記撮像手段により撮像された画像を前記表示手段により提示した状態にて、前記操作手段により設定された照明光の形状及び照明位置が入力された場合に、当該照明光が歪み無く投影されるように前記補正パラメータ設定手段によって補正パラメータを設定し、前記補正手段によって照明光を歪ませて、前記描画手段に描画処理を行わせることを特徴とする。
本発明によれば、照明光の形状を予め記憶されたベース形状群から選択し、当該選択された形状の照明光の投影範囲内の照明位置を設定できるので、簡単な操作によってユーザが希望する形態で光を投影することができる。
以下、本発明の実施の形態について図面を参照して説明する。
本発明は、例えば図1及び図2に示すように、所定の空間に対してプロジェクタ3から照明光3aを投影して当該所定の空間に照明光による演出効果を与えるものである。この空間演出システムは、例えば展示物としての洋服を装着したマネキン人形が配置されたショーウインドウ空間に対して照明光3aを投影して、当該洋服に照明演出効果を与える。
この空間演出システムは、プロジェクタ3を制御する投影制御装置1と、カメラ装置2と、プロジェクタ3と、表示モニタ4と、選択操作入力部5とを備えている。
カメラ装置2は、プロジェクタ3から出射された照明光3aによって空間演出される所定の投影範囲3bを含む所定のショーウインドウ空間を撮像範囲とするものである。カメラ装置2は、CCD等の撮像素子や光学部品等からなる撮像部21と、撮像部21によって撮像された撮影画像データ21aを投影制御装置1に出力する撮影画像データ出力部22とを備える。このカメラ装置2は、ユーザから見たショーウインドウ空間と表示モニタ4に表示されるショーウインドウ空間とがほぼ一致することが望ましいので、ユーザの操作位置付近に設置される。
表示モニタ4は、カメラ装置2によって撮像された撮影画像データ21aが投影制御装置1の撮影画像データ入力部11を介して供給される。これにより表示モニタ4は、ユーザが空間演出しようとするショーウインドウ空間を提示することができる。
選択操作入力部5は、ユーザの操作を検出する機構を備え、当該ユーザの操作に基づいて、照明光3aの形状を予め記憶されたベース形状群から選択し、当該選択された形状の照明光3aの投影範囲内の照明位置を設定するための操作信号を投影制御装置1に供給する。この選択操作入力部5は、例えば表示モニタ4の表示画面4aに内蔵されたタッチパネル機構及びユーザによってタッチパネル機構に対してタッチ操作される操作スティックとからなる。
投影制御装置1は、例えばパーソナルコンピュータや携帯型端末からなり、撮影画像データ入力部11と、補正パラメータ設定部12と、画像データ生成部13と、歪み補正部14と、画像描画部15とを備える。
撮影画像データ入力部11は、カメラ装置2と接続され、当該カメラ装置2の撮影画像データ出力部22から供給された撮影画像データ21aを表示モニタ4に供給する。これによって、ショーウインドウ空間の状況をユーザに提示する。
補正パラメータ設定部12は、プロジェクタ3の位置を示す投影パラメータ、照明光3aの照明位置パラメータ、投影範囲3bに含まれて照明光3aが投影される仮想面である投影面パラメータから、プロジェクタ3の位置から仮想の投影面の所定の照明位置に照明光3aを投影した場合に、当該照明光3aの歪みをなくすための歪み補正パラメータを算出して出力する。この歪み補正パラメータは、プロジェクタ3の位置、姿勢及び仕様、操作位置、仮想平面の位置によって照明光3aに歪みが発生するものの、照明光3aの画像データに対して歪みを与えることによって、仮想平面においては歪み無く照明光3aを視認させることができるものである。具体的には、歪み補正パラメータは、後述のベース形状である照明光3aを示す画像データの座標情報と、実際のプロジェクタ3の位置、姿勢及び仕様、操作位置、仮想平面の位置によって発生する歪みをなくした補正後の画像データの座標情報との対応関係(対応マップ)を示す。
歪み補正部14は、画像データ生成部13から供給された照明光3aの画像データに対して、補正パラメータ設定部12から供給された歪み補正パラメータを用いた座標変換処理(テクスチャマッピング)を行う。これによって、照明光3aの画像データは、プロジェクタ3によって照明光3aを投影した時に、ユーザからは歪み無く見えるような画像データを算出して、画像描画部15に供給する。
このように照明光3aの画像データを補正して、任意の視点位置からショーウインドウ空間を見たときに、所望の位置に所望の形状で照明光3aを投影させるためには、予め補正パラメータ設定部12によって照明光3aの形状、照明光3aの照射位置に応じて補正パラメータを作成しておく必要がある。すなわち、カメラ装置2とプロジェクタ3との配置位置や撮影画角、投影画角の違いのために、カメラ装置2の撮影画像と、プロジェクタ3の投影画像(照明光)が一致しない。そこで、補正パラメータ設定部12によって、カメラ装置2の撮影画像とプロジェクタ3の投影画像(照明光3a)を一致させる。
具体的には、先ず、図3に示すように、所定の間隔の升目で構成されるベース画像3cをプロジェクタ3から任意に設置されたスクリーン6上に投影し、同時に表示モニタ4の表示画面4aにも投影しているベース画像の撮像画像4dとして表示する。なお、ショーウインドウ空間によってはスクリーン6を設けずに壁にベース画像3cを投影するものでも良い。これにより、表示モニタ4には、撮影画像データ入力部11から撮像画像データが供給されて、図4に示すように、プロジェクタ3から投影されたベース画像3cの撮影画像4d(表示画面4a内の太線)を表示させると共に、予め記憶しておいた正確な格子状のベース画像4c(図中の細線)を表示させる。なお、この例においては、カメラ装置2から供給された撮像画像データから投影範囲3bも、撮像範囲4bとして表示モニタ4に表示させている。
そして、補正パラメータ設定部12は、カメラ装置2によって撮像されている撮像画像4dを、正確な格子状のベース画像4cに一致するように照明光3aの補正パラメータを変更する。この補正パラメータは、上下、左右、前後方向で規定される3次元方向の各軸方向の並進、回転移動およびズーム、投影範囲3bの切り抜きによって特定される。
補正パラメータを設定する処理は、先ず、補正パラメータ設定部12によって、図5に示すように、3軸方向の並進移動パラメータを変更し、カメラ装置2の撮影中心とプロジェクタ3の投影中心とを一致させ、さらに3軸方向の回転移動パラメータを変更し、カメラ装置2の撮影中心線(二重線)とプロジェクタ3の投影中心線(二重線)とを一致させる。次に、補正パラメータ設定部12によって、図6に示すように、3軸方向の並進移動パラメータおよび回転移動パラメータを変更し、撮影画像4dが、表示モニタ4上に表示された正確な格子状のベース画像4cに平行になるようにプロジェクタ3から投影されたベース画像3cの傾きを変化させる。次に、補正パラメータ設定部12によって、図7に示すように、プロジェクタ3のズームパラメータを変更してベース画像3cの大きさを変化させて、撮像画像4dがベース画像4cの大きさとなるようにする。次に、補正パラメータ設定部12によって、図8に示すように、プロジェクタ3の投影範囲3bの切り抜きパラメータを変更することによって、プロジェクタ3から投影されたベース画像の撮影画像4d(撮像範囲4b)と、表示モニタ4上に直接出力されたベース画像4cのうちの大きいほうを切り抜く。このような補正パラメータの設定を行うことにより、図9に示すように、ユーザ視点においてカメラ装置2の撮像範囲と補正後の投影範囲3b’とを一致させることができ、後述するように照明光3aの形状及び照明位置の選択によっても、歪み無く照明光3aを投影できる。なお、この補正パラメータの設定処理はあくまでも一例であり、他の補正方法によってカメラ装置2の撮影画像とプロジェクタ3の投影画像とを一致させてもよい。
画像データ生成部13は、選択操作入力部5から供給された操作信号に基づいて、ショーウインドウ空間を照明光3aで演出するための画像データを生成する。なお、この実施の形態においては、ユーザが選択操作入力部5を用いた操作を行い、画像データ生成部13が当該操作を認識する構成が、ユーザの操作に基づいて照明光3aのベース形状等を設定する操作手段としている。
この画像データ生成部13は、プロジェクタ3が投影する投影範囲3bに投影される投影光のうちの照明光3aの特徴を設定する。この照明光3aの特徴としては、色(演色性)、輝度、透明度、色温度、照度、光度などが挙げられる。なお、この実施の形態においては、ユーザの操作に従って照明光3aの特徴としての色を設定しているが、これに限らず、照明光3aの輝度、透明度もユーザの操作によって設定できる構成としても良い。また、画像データ生成部13は、操作信号に従って、照明光3aの形状、照明光3aのサイズが選択され、更に、当該照明光3aの照明位置が選択される。
具体的には、画像データ生成部13は、照明光3aの色、照明光3aの形状、照明光3aのサイズ、照明光3aの照明位置をユーザに選択させるに際して、設定画像を表示モニタ4に表示させる。設定画像は、例えば選択操作入力部5が表示モニタ4に内蔵されたタッチパネル機構からなる場合、図10に示すように、カメラ装置2によって撮像されたカメラ画像41と、照明光3aの特徴を選択する複数のボタン画像を含むメニュー群42とからなる。このメニュー群42に含まれる複数のボタン画像は、色選択用ボタン画像43と、形状選択用ボタン画像44と、サイズ選択用ボタン画像45と、演出開始用ボタン画像46とからなる。
画像データ生成部13は、選択操作入力部5に含まれる操作スティック5aによって表示モニタ4上から押圧操作されたことに対して、操作信号が供給される。この操作信号は、タッチパネル機構における押圧された座標情報を表すものである。そして、画像データ生成部13は、ユーザの操作に基づく座標情報から、どのような操作がなされたのかを認識して、照明光3aの色、形状、サイズ、照明位置を決定する。また、画像データ生成部13は、当該決定された照明光3aの色、形状、サイズ及び照明位置に照明光3aの投影を開始する場合には、当該照明光3aの特徴に従った画像データを生成して、歪み補正部14に供給することとなる。
ここで、画像データ生成部13は、例えば図10に示すように、ユーザの操作に基づいて、照明光3aの形状を、丸型、三角型、星型といった予め記憶されたベース形状群から選択する。この場合、画像データ生成部13は、設定画面のうちで形状選択用ボタン画像44が選択されたことに応じ、図10のように、図示しないハードディスク装置に予め画像データとして記憶されているベース形状群を示すベース形状候補選択画像44’を表示させる。そして、ベース形状候補選択画像44’のうちで、何れかのベース形状を示す部分が選択された操作が選択操作入力部5を用いて行われると、当該操作を画像データ生成部13によって検出して、照明光3aのベース形状を決定することができる。
なお、照明光3aのベース形状は、丸型、三角型、星型に限られず、線画、文字などの線の組み合わせからなるものであっても良い。
同様に、設定画面内での色選択用ボタン画像43を選択する操作がされて、照明光3aの色を決定する場合には、図11に示すように、予め設定された所定のベース色のうちのどの色でショーウインドウ空間を演出するかを選択する色候補選択画像43’を表示させる。そして、色候補選択画像43’のうちで、何れかのベース色を示す部分が選択された操作が選択操作入力部5を用いて行われると、当該操作を画像データ生成部13によって検出して、照明光3aのベース色を決定することができる。
同様に、設定画面内でのサイズ選択用ボタン画像45を選択する操作がされて、照明光3aのサイズを決定する場合には、図12に示すように、予め設定された所定のサイズのうちのどのサイズでショーウインドウ空間を演出するかを選択するサイズ候補選択画像45’を表示させる。そして、サイズ候補選択画像45’のうちで、何れかのサイズを示す部分が選択された操作が選択操作入力部5を用いて行われると、当該操作を画像データ生成部13によって検出して、照明光3aのサイズを決定することができる。
また、照明光3aの照明位置を決定する場合には、図13に示すように、カメラ画像41のうちで照明光3aの中心位置とする画像内位置が選択された操作が、操作スティック5aを用いて行われる。すると、画像データ生成部13は、当該カメラ画像41上のうちの座標情報を取得し、当該座標情報に対応した投影範囲3b内の位置に照明光3aを投影する画像データを生成する。また、画像データ生成部13は、操作スティック5aによって選択された位置を中心とし、既に設定された照明光3aのベース形状、色、サイズで照明光画像47をカメラ画像41に重畳させて表示する。
このとき、画像データ生成部13は、先に選択された照明光3aの色、ベース形状、サイズ及び予め設定された輝度や透明度で定義された照明光3aの特徴の画像データとすることは勿論である。また、画像データ生成部13は、投影範囲3bのうちで照明光3a以外の背景部分についても、予め設定された色、輝度とする画像データを生成することができる。例えば、ショーウインドウ空間の壁紙の色や、照明光3aとの色やコントラストの組み合わせに応じて、背景の光の色、輝度等を設定することができる。
また、画像データ生成部13は、画像データを生成するに際して、選択されたベース形状における輪郭部分において線の補完処理を行って、照明光3aの輪郭を滑らかにしても良い。
更に、空間演出システムは、このように照明光3aのベース形状、色及びサイズを決定した後に照明位置を決定する処理を複数回に亘って行うことで、プロジェクタ3の投影範囲3b内に複数の照明光3aを投影させることができる。これによって、複数の照明光3aのそれぞれのベース形状、色及びサイズ、照明位置を異なるものとした演出を実現できる。
歪み補正部14には、上述したように画像データ生成部13によって生成された画像データが供給される。また、歪み補正部14には、上述したような選択操作入力部5による照明光3aの形状、位置に応じて補正パラメータ設定部12によって設定された補正パラメータが供給される。そして歪み補正部14は、画像データに対して補正パラメータを用いた歪み補正処理を行って、画像描画部15に供給する。
このように空間演出システムによれば、カメラ装置2により撮像された画像を表示モニタ4により提示した状態にて、選択操作入力部5により設定された照明光の形状及び照明位置が入力された場合に、当該照明光が歪み無く投影されるように補正パラメータ設定部12によって補正パラメータを設定し、歪み補正部14によって照明光を歪ませることができる。
画像描画部15は、選択操作入力部5により選択された所定のベース形状の照明光3aが、選択操作入力部5により設定された照明位置に投影されるように、選択されたベース形状の照明光3aを投影するための描画処理を行う。このとき、画像描画部15は、歪み補正部14から供給された画像データを用いた描画処理を行うことによって、プロジェクタ3によって照明光3aを投影する投影データを作成して、プロジェクタ3を駆動させる。
このように画像描画部15によってプロジェクタ3を駆動させるタイミングは、例えば、図14(a)に示すように、複数の照明光3aのベース形状、色及びサイズを決定した上で、カメラ画像41上に複数の照明光画像47a、47bを表示させている状態において、演出開始用ボタン画像46が選択された時とする。これによって、空間演出システムは、図14(a)に示すように、照明光3aの色、形状、サイズを決定した後に、演出開始用ボタン画像46が操作されたことを画像データ生成部13が検出すると、当該決定された画像データを用いて画像描画部15が描画処理を行って、投影データをプロジェクタ3に供給し、図14(b)のように、照明光画像47aを投影するための照明光3a_aと照明光画像47bを投影するための照明光3a_bを含む投影光を投影することができる。ここで、図14(b)に示すように、照明光3a以外の部分については、背景の光として画像投影していることとなる。
以上説明したように、本発明を適用した空間演出システムによれば、照明光3aの形状を予め記憶されたベース形状群から選択し、当該選択された形状の照明光3aの投影範囲3b内の照明位置を設定できるので、簡単な操作によってユーザが希望する形態で光を投影することができる。
また、この空間演出システムによれば、ユーザの操作に基づいて、ベース形状が選択された照明光3aのサイズを設定できるので、照明光3aによるショーウインドウ空間の演出自由度を高めることができる。
つぎに、上述した空間演出システムにおいて、更に他の機能を追加したものについて説明する。なお、以下に説明する照明光3aの移動軌跡及び移動時間を設定する実施の形態では、上述した実施の形態のうち、歪み補正、照明光3aのサイズ設定を行う実施形態の何れかと組み合わされたものであっても良い。
他の空間演出システムは、選択操作入力部5に対してなされたユーザの操作に基づいて、照明光3aの移動軌跡及び移動時間を設定し、画像データ生成部13及び画像描画部15によって、選択操作入力部5により選択された所定のベース形状の照明光3aが、選択操作入力部5により設定された移動軌跡に従って、設定された移動時間で移動するように描画処理を行って、プロジェクタ3に照明光3aを投影させることができる。
このような空間演出システムは、上述したように照明光3aのベース形状、色及びサイズが設定された状態にて、図15に示すように、画像データ生成部13によって、操作スティック5aによってカメラ画像41上を線状に押圧操作がなされたことを検出する。このとき、画像データ生成部13は、カメラ画像41に対して操作がなされた操作スティック5aの動きに基づく座標情報の移動軌跡48をカメラ画像41上に表示させると共に、実際の照明光3aの移動軌跡として認識する。また、選択操作入力部5は、図示はしていないが、キーボードやメニュー群42などによって、ユーザの操作に基づく照明光3aの移動時間を取得して投影制御装置1に供給する。
画像データ生成部13は、照明光3aの移動軌跡及び移動時間を取得すると、当該移動軌跡で照明光3aがショーウインドウ空間で移動するための画像データとして、設定された移動時間で移動軌跡に沿って照明光3aが移動する動画像データを作成して、画像描画部15に供給する。そして、画像描画部15は、画像データ生成部13から供給された動画像データを用いた描画処理を行ってプロジェクタ3を駆動させることによって、照明光3aを移動させることができる。
これにより空間演出システムは、ユーザの操作に従って照明光3aを移動させて、照明光3aによるショーウインドウ空間の演出自由度を高めることができる。なお、複数の照明光3aのそれぞれについて異なる移動軌跡及び移動時間を設定して空間演出をできることは勿論である。
更に他の空間演出システムは、選択操作入力部5によって、照明光3aの移動始点及び移動終点と、当該移動始点から移動終点まで照明光3aが移動する軌跡を定義する数式と、当該数式で定義された移動軌跡に沿って移動始点から移動終点まで照明光3aが移動する移動時間とを設定する。そして、空間演出システムは、画像データ生成部13及び画像描画部15によって、選択操作入力部5により選択された所定のベース形状の照明光3aが、選択操作入力部5により設定された数式で定義された移動軌跡に沿って移動始点から移動終点まで、設定された移動時間で移動するように描画処理を行い、プロジェクタ3に照明光3aを投影させる。
このような空間演出システムは、上述したように照明光3aのベース形状、色及びサイズが設定された状態にて、図16に示すように、画像データ生成部13によって、操作スティック5aによってカメラ画像41上にて移動始点49s及び移動終点49eを特定する押圧操作がなされたことを検出する。ここで、図16においては、カメラ画像41における左右の端部付近が移動始点49s及び移動終点49eとして設定された場合を示している。また、選択操作入力部5は、図示はしていないが、キーボードやメニュー群42などによって、ユーザの操作に基づく照明光3aの移動時間、移動軌跡を定義する数式を取得して投影制御装置1に供給する。この移動軌跡を定義する数式は、直線、放物線を表す数式、三角関数などが挙げられ、更に、振幅などの移動度合いを表す情報も含まれている。
画像データ生成部13は、照明光3aの移動始点及び移動終点の座標情報、数式、移動時間を取得すると、当該移動始点及び移動終点、数式で特定される移動軌跡50をカメラ画像41上に表示させる。また、画像データ生成部13は、当該移動軌跡で照明光3aが移動するための画像データとして、設定された移動時間で移動軌跡に沿って照明光3aが移動する動画像データを作成して、画像描画部15に供給する。そして、画像描画部15は、画像データ生成部13から供給された動画像データを用いた描画処理を行ってプロジェクタ3を駆動させることによって、照明光3aを移動させることができる。
これにより空間演出システムは、ユーザの操作に従って照明光3aを移動させて、照明光3aによるショーウインドウ空間の演出自由度を高めることができる。なお、複数の照明光3aのそれぞれについて異なる移動始点及び移動終点、数式及び移動時間を設定して空間演出をできることは勿論である。
なお、このような数式及び移動時間を設定する実施の形態は、上述した実施の形態のうち、歪み補正、照明光3aのサイズ設定、移動軌跡及び移動時間の設定を行う実施形態の何れかと組み合わされたものであっても良い。
更に、他の空間演出システムは、パーソナルコンピュータのハードディスク装置を記憶手段とし、当該記憶手段に、選択操作入力部5により設定されたベース形状及び照明光3aのサイズからなる照明光3aの形状パターン、選択操作入力部5により設定された照明光3aの移動軌跡を保存しておき、必要に応じて呼び出すことができる構成となっていても良い。
このような空間演出システムは、選択操作入力部5によって、ハードディスク装置に記憶された照明光3aの形状パターンと照明光3aの移動軌跡との組み合わせと、ハードディスク装置に記憶された照明光3aの形状パターンの表示時間と、ハードディスク装置に記憶された照明光3aの形状パターンの移動時間と設定する。そして、ショーウインドウ空間の演出時には、画像描画部15によって、選択操作入力部5により設定された形状パターンの照明光3aを、移動軌跡に従って設定された移動時間で移動させ、設定された表示時間だけ投影するように描画処理を行い、プロジェクタ3に照明光3aを投影させることができる。
なお、このような実施の形態は、上述した歪み補正、照明光3aのサイズ設定、移動軌跡及び移動時間の設定を行う実施形態、数式及び移動時間を設定する実施の形態の何れかと組み合わされたものであっても良い。
これにより空間演出システムは、多数の照明光3aの移動軌跡や移動時間からなる照明パターンを記憶しておき、複数の照明パターンを組み合わせることなど、ショーウインドウ空間の演出自由度を高めることができる。すなわち、この空間演出システムによればハードディスク装置に記憶された複数の照明光3aの形状パターンと、複数の照明光3aの移動軌跡とを組み合わせて、空間演出用のコンテンツデータを作成することができる(コンテンツ作成手段)。
具体的には、パーソナルコンピュータのキーボードやマウスなどの操作に応じて照明パターンを時系列に組み合わせるオーサリングソフトウェアをパーソナルコンピュータとしての投影制御装置1にインストールして、空間演出用のコンテンツデータを作成することができる。また、このオーサリングソフトウェアによって、予めハードディスク装置に記憶しておいた音楽データを読み出して、図示しないスピーカから放音させる機能と、照明パターンからなるコンテンツデータによってプロジェクタ3を駆動させる機能との同期を取ることもできる。これにより、照明光3aによるショーウインドウ空間の演出と、音楽によるショーウインドウ空間の演出とにより、更に自由度の高い演出を行うことができる。
なお、上述の実施の形態は本発明の一例である。このため、本発明は、上述の実施形態に限定されることはなく、この実施の形態以外であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることは勿論である。
本発明を適用した空間演出システムのハードウェア的な構成を示す図である。 本発明を適用した空間演出システムの機能的な構成を示すブロック図である。 本発明を適用した空間演出システムにおいて補正パラメータを設定する説明のためのハードウェア的な構成を示す図である。 スクリーンに投影したベース画像と、予め記憶したベース画像とを重畳して表示モニタに表示させた様子を示す図である。 3軸方向の並進移動パラメータを変更した時の表示モニタの表示状態を示す図である。 3軸方向の回転移動パラメータを変更した時の表示モニタの表示状態を示す図である。 プロジェクタのズームパラメータを変更した時の表示モニタの表示状態を示す図である。 プロジェクタの投影範囲の切り抜きパラメータを変更した時の表示モニタの表示状態を示す図である。 補正パラメータを設定して歪み補正処理を行った結果として、ベース画像が歪み無く投影されている状態を示す空間演出システムのハードウェア的な構成図である。 本発明を適用した空間演出システムにおいて、照明光のベース形状を設定する時の設定画像を示す図である。 本発明を適用した空間演出システムにおいて、照明光の色を設定する時の設定画像を示す図である。 本発明を適用した空間演出システムにおいて、照明光のサイズを設定する時の設定画像を示す図である。 本発明を適用した空間演出システムにおいて、照明光の照明位置を設定する時の設定画像を示す図である。 本発明を適用した空間演出システムにおいて、照明光の設定状態と実際の照明光の照射状態とを示す図である。 本発明を適用した空間演出システムにおいて、照明光の移動軌跡を設定する時の設定画像を示す図である。 本発明を適用した空間演出システムにおいて、照明光の移動軌跡を設定する時の他の設定画像を示す図である。
符号の説明
1 投影制御装置
2 カメラ装置
3 プロジェクタ
3a 照明光
3b 投影範囲
4 表示モニタ
5 選択操作入力部
5a 操作スティック
6 スクリーン
11 撮影画像データ入力部
12 補正パラメータ設定部
13 画像データ生成部
14 歪み補正部
15 画像描画部
21 撮像部
22 撮影画像データ出力部
41 カメラ画像
42 メニュー群
43 色選択用ボタン画像
43’ 色候補選択画像
44 形状選択用ボタン画像
44’ ベース形状候補選択画像
45 サイズ選択用ボタン画像
45’ サイズ候補選択画像
46 演出開始用ボタン画像
47 照明光画像
48,50 移動軌跡
49e 移動終点
49s 移動始点

Claims (9)

  1. 所定の空間に対して、所定の投影範囲の照明光を投影する投影手段と、
    前記投影手段が投影する投影範囲に投影される照明光の特徴を設定する照明光設定手段と、
    ユーザの操作に基づいて、前記照明光の形状を予め記憶されたベース形状群から選択し、当該選択された形状の照明光の投影範囲内の照明位置を設定する操作手段と、
    前記照明光設定手段により所定の照明光の特徴が設定され、前記操作手段により選択された所定のベース形状の照明光が、前記操作手段により設定された照明位置に投影されるように前記選択されたベース形状の照明光を投影するための描画処理を行い、前記投影手段に照明光を投影させる描画手段と
    予め撮影された画像データをユーザに提示する表示手段と、
    前記投影手段の投影範囲と前記表示手段に提示された前記画像データとを一致させるように、前記投影手段と照明演出を行う照明位置との関係に起因して発生する前記投影手段から投影される照明光の歪みを補正するための補正パラメータを設定する補正パラメータ設定手段と、
    前記補正パラメータ設定手段により設定された歪み補正パラメータを用いて、前記投影手段から投影させる照明光の形状及び照明光の照明位置を補正する補正手段とを備え、
    予め撮像された画像を前記表示手段により提示した状態にて、前記操作手段により設定された照明光の形状及び照明位置が入力された場合に、当該照明光が歪み無く投影されるように前記補正パラメータ設定手段によって補正パラメータを設定し、前記補正手段によって照明光を歪ませて、前記描画手段に描画処理を行わせる
    ことを特徴とする照明装置。
  2. 所定の空間に対して、所定の投影範囲の照明光を投影する投影手段と、
    前記投影手段が投影する投影範囲に投影される照明光の特徴を設定する照明光設定手段と、
    ユーザの操作に基づいて、前記照明光の形状を予め記憶されたベース形状群から選択し、当該選択された形状の照明光の投影範囲内の照明位置を設定する操作手段と、
    前記照明光設定手段により所定の照明光の特徴が設定され、前記操作手段により選択された所定のベース形状の照明光が、前記操作手段により設定された照明位置に投影されるように前記選択されたベース形状の照明光を投影するための描画処理を行い、前記投影手段に照明光を投影させる描画手段と
    前記投影手段によって投影された投影光によって照明演出される所定の空間を撮影する撮像手段と、
    前記撮像手段により撮影された画像データをユーザに提示する表示手段と、
    前記投影手段の投影範囲と前記撮像手段の撮像範囲とを一致させるように、前記投影手段と前記照明演出を行う照明位置との関係に起因して発生する前記投影手段から投影される照明光の歪みを補正するための補正パラメータを設定する補正パラメータ設定手段と、
    前記補正パラメータ設定手段により設定された歪み補正パラメータを用いて、前記投影手段から投影させる照明光の形状及び照明光の照明位置を補正する補正手段とを備え、
    前記撮像手段により撮像された画像を前記表示手段により提示した状態にて、前記操作手段により設定された照明光の形状及び照明位置が入力された場合に、当該照明光が歪み無く投影されるように前記補正パラメータ設定手段によって補正パラメータを設定し、前記補正手段によって照明光を歪ませて、前記描画手段に描画処理を行わせる
    ことを特徴とする照明装置。
  3. 前記操作手段は、ユーザの操作に基づいて、前記ベース形状が選択された照明光のサイズを設定し、
    前記描画手段は、前記操作手段により選択された所定のベース形状の照明光のサイズを、前記操作手段により設定されたサイズとして描画処理を行い、前記投影手段に照明光を投影させること
    を特徴とする請求項1又は請求項2に記載の照明装置。
  4. 前記操作手段は、ユーザの操作に基づいて、前記照明光の移動軌跡及び移動時間を設定し、
    前記描画手段は、前記操作手段により選択された所定のベース形状の照明光が、前記操作手段により設定された移動軌跡に従って、前記設定された移動時間で移動するように描画処理を行い、前記投影手段に照明光を投影させること
    を特徴とする請求項1乃至請求項3の何れか一項に記載の照明装置。
  5. 前記操作手段は、前記照明光の移動始点及び移動終点と、当該移動始点から移動終点まで照明光が移動する軌跡を定義する数式と、当該数式で定義された移動軌跡に沿って前記移動始点から前記移動終点まで前記照明光が移動する移動時間とを設定し、
    前記描画手段は、前記操作手段により選択された所定のベース形状の照明光が、前記操作手段により設定された数式で定義された移動軌跡に沿って前記移動始点から前記移動終点まで、前記設定された移動時間で移動するように描画処理を行い、前記投影手段に照明光を投影させること
    を特徴とする請求項1乃至請求項4の何れか一項に記載の照明装置。
  6. 前記操作手段により設定されたベース形状及び前記照明光のサイズからなる照明光の形状パターン、前記操作手段により設定された前記照明光の移動軌跡を保存する記憶手段を更に備え、
    前記操作手段は、前記記憶手段に記憶された前記照明光の形状パターンと前記照明光の移動軌跡との組み合わせと、前記記憶手段に記憶された前記照明光の形状パターンの表示時間と、前記記憶手段に記憶された前記照明光の形状パターンの移動時間と設定し、
    前記描画手段は、前記操作手段により設定された形状パターンの照明光を、前記移動軌跡に従って前記設定された移動時間で移動させ、前記設定された表示時間だけ投影するように描画処理を行い、前記投影手段に照明光を投影させること
    を特徴とする請求項1乃至請求項5の何れか一項に記載の照明装置。
  7. 前記記憶手段に記憶された複数の前記照明光の形状パターンと、複数の前記照明光の移動軌跡とを組み合わせて、空間演出用のコンテンツデータを作成するコンテンツ作成手段を備えることを特徴とする請求項6に記載の照明装置。
  8. 展示物が配置された所定のショーウインドウ空間に対して、照明光を投影する投影手段と、
    前記投影手段が投影するショーウインドウ空間に投影される照明光の特徴を設定する照明光設定手段と、
    ユーザの操作に基づいて、前記照明光の形状を予め記憶されたベース形状群から選択し、当該選択された形状の照明光の投影範囲内の照明位置を設定する操作手段と、
    前記照明光設定手段により所定の照明光の特徴が設定され、前記操作手段により選択された所定のベース形状の照明光が、前記操作手段により設定された照明位置に投影されるように前記選択されたベース形状の照明光を投影するための描画処理を行い、前記投影手段に照明光を投影させる描画手段と
    予め撮影された画像データをユーザに提示する表示手段と、
    前記投影手段の投影範囲と前記表示手段に提示された前記画像データとを一致させるように、前記投影手段と照明演出を行う照明位置との関係に起因して発生する前記投影手段から投影される照明光の歪みを補正するための補正パラメータを設定する補正パラメータ設定手段と、
    前記補正パラメータ設定手段により設定された歪み補正パラメータを用いて、前記投影手段から投影させる照明光の形状及び照明光の照明位置を補正する補正手段とを備え、
    予め撮像された画像を前記表示手段により提示した状態にて、前記操作手段により設定された照明光の形状及び照明位置が入力された場合に、当該照明光が歪み無く投影されるように前記補正パラメータ設定手段によって補正パラメータを設定し、前記補正手段によって照明光を歪ませて、前記描画手段に描画処理を行わせる
    ことを特徴とする空間演出システム。
  9. 展示物が配置された所定のショーウインドウ空間に対して、照明光を投影する投影手段と、
    前記投影手段が投影するショーウインドウ空間に投影される照明光の特徴を設定する照明光設定手段と、
    ユーザの操作に基づいて、前記照明光の形状を予め記憶されたベース形状群から選択し、当該選択された形状の照明光の投影範囲内の照明位置を設定する操作手段と、
    前記照明光設定手段により所定の照明光の特徴が設定され、前記操作手段により選択された所定のベース形状の照明光が、前記操作手段により設定された照明位置に投影されるように前記選択されたベース形状の照明光を投影するための描画処理を行い、前記投影手段に照明光を投影させる描画手段と
    前記投影手段によって投影された投影光によって照明演出される所定の空間を撮影する撮像手段と、
    前記撮像手段により撮影された画像データをユーザに提示する表示手段と、
    前記投影手段の投影範囲と前記撮像手段の撮像範囲とを一致させるように、前記投影手段と前記照明演出を行う照明位置との関係に起因して発生する前記投影手段から投影される照明光の歪みを補正するための補正パラメータを設定する補正パラメータ設定手段と、
    前記補正パラメータ設定手段により設定された歪み補正パラメータを用いて、前記投影手段から投影させる照明光の形状及び照明光の照明位置を補正する補正手段とを備え、
    前記撮像手段により撮像された画像を前記表示手段により提示した状態にて、前記操作手段により設定された照明光の形状及び照明位置が入力された場合に、当該照明光が歪み無く投影されるように前記補正パラメータ設定手段によって補正パラメータを設定し、前記補正手段によって照明光を歪ませて、前記描画手段に描画処理を行わせる
    ことを特徴とする空間演出システム。
JP2008138564A 2008-05-27 2008-05-27 照明装置、空間演出システム Active JP5258387B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008138564A JP5258387B2 (ja) 2008-05-27 2008-05-27 照明装置、空間演出システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008138564A JP5258387B2 (ja) 2008-05-27 2008-05-27 照明装置、空間演出システム

Publications (2)

Publication Number Publication Date
JP2009290354A JP2009290354A (ja) 2009-12-10
JP5258387B2 true JP5258387B2 (ja) 2013-08-07

Family

ID=41459171

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008138564A Active JP5258387B2 (ja) 2008-05-27 2008-05-27 照明装置、空間演出システム

Country Status (1)

Country Link
JP (1) JP5258387B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10225448B2 (en) 2015-06-04 2019-03-05 Olympus Corporation Image acquisition system

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120069180A1 (en) * 2009-05-26 2012-03-22 Panasonic Electric Works Co., Ltd. Information presentation apparatus
JP2016001354A (ja) * 2014-06-11 2016-01-07 パナソニックIpマネジメント株式会社 投影領域設定装置および当該投影領域設定装置を用いた作業検知システム
JP2017016021A (ja) * 2015-07-03 2017-01-19 東芝ライテック株式会社 照明制御システム、画像制御装置、照明制御方法および照明制御プログラム
JP6590313B2 (ja) 2015-09-08 2019-10-16 パナソニックIpマネジメント株式会社 照明装置及び照明システム
KR102153751B1 (ko) * 2019-01-15 2020-09-08 주식회사 씨제이이엔엠 레이저를 활용한 방송효과 시스템 및 이를 이용한 방송효과 구현 방법

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08271985A (ja) * 1995-03-30 1996-10-18 Toshiba Lighting & Technol Corp 照明装置
US5828485A (en) * 1996-02-07 1998-10-27 Light & Sound Design Ltd. Programmable light beam shape altering device using programmable micromirrors
JP2003131319A (ja) * 2001-10-25 2003-05-09 Seiko Epson Corp 光送受装置
JP4925369B2 (ja) * 2007-07-26 2012-04-25 パナソニック株式会社 照明装置
JP4379532B2 (ja) * 2007-07-26 2009-12-09 パナソニック電工株式会社 照明装置
JP4341723B2 (ja) * 2008-02-22 2009-10-07 パナソニック電工株式会社 光投影装置、照明装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10225448B2 (en) 2015-06-04 2019-03-05 Olympus Corporation Image acquisition system

Also Published As

Publication number Publication date
JP2009290354A (ja) 2009-12-10

Similar Documents

Publication Publication Date Title
US11016582B2 (en) Position detecting device, position detecting system, and controlling method of position detecting device
JP5258387B2 (ja) 照明装置、空間演出システム
US10275938B2 (en) Image processing apparatus and image processing method
US9639165B2 (en) Position detection system and control method of position detection system
CN105874414B (zh) 位置检测装置、位置检测系统以及位置检测方法
JP4379532B2 (ja) 照明装置
KR20100113124A (ko) 광 투영 장치, 조명 장치
EP2437244A1 (en) Information presentation device
JP6304618B2 (ja) 照明装置
JP5319999B2 (ja) 照明装置
JP5308765B2 (ja) 照明装置
US9733728B2 (en) Position detecting device and position detecting method
JP2016161882A (ja) 光投影装置
JP5545620B2 (ja) 赤外線ledおよび単点光センサを使用したカーソル相対位置検出方法,該方法を用いたカーソル相対位置検出装置ならびにカーソル相対位置検出装置を備えたガンゲーム機
JP5724064B2 (ja) 光投影装置
JP2013250773A (ja) ステージ装置及びステージ施設
JP2011170296A (ja) 光投影装置
JP6354620B2 (ja) 制御装置、プログラム、及び投影システム
CN111601420B (zh) 控制方法、计算机可读介质和控制器
JP4925369B2 (ja) 照明装置
JP5162393B2 (ja) 照明装置
JP2012069422A (ja) 調光制御装置、調光制御方法、及び調光制御プログラム
JP5853173B2 (ja) 光照射システム
JP6403650B2 (ja) 空間像演出装置、その制御方法およびプログラム
JP5705342B2 (ja) 赤外線ledおよび単点光センサを使用したカーソル相対位置検出方法,該方法を用いたカーソル相対位置検出装置およびカーソル相対位置検出装置を備えたガンゲーム機

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110121

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20120111

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130122

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130308

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130326

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130423

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160502

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5258387

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150