JP6930076B2 - 画像投影システム、情報処理装置、画像投影方法及びプログラム - Google Patents

画像投影システム、情報処理装置、画像投影方法及びプログラム Download PDF

Info

Publication number
JP6930076B2
JP6930076B2 JP2016169181A JP2016169181A JP6930076B2 JP 6930076 B2 JP6930076 B2 JP 6930076B2 JP 2016169181 A JP2016169181 A JP 2016169181A JP 2016169181 A JP2016169181 A JP 2016169181A JP 6930076 B2 JP6930076 B2 JP 6930076B2
Authority
JP
Japan
Prior art keywords
projection
moving image
image
schedule
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016169181A
Other languages
English (en)
Other versions
JP2018036480A (ja
Inventor
渉 本村
渉 本村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2016169181A priority Critical patent/JP6930076B2/ja
Priority to EP17188426.5A priority patent/EP3300360B1/en
Publication of JP2018036480A publication Critical patent/JP2018036480A/ja
Application granted granted Critical
Publication of JP6930076B2 publication Critical patent/JP6930076B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Transforming Electric Information Into Light Information (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Projection Apparatus (AREA)

Description

本発明は、画像投影システム、情報処理装置、画像投影方法及びプログラムに関する。
近年、プロジェクタなどの画像投影装置に動画像等のコンテンツを配信し、屋外や店頭、公共空間等に設置された大画面に、当該コンテンツを投影するデジタルサイネージが広く利用されている。デジタルサイネージの場合、時間や場所に適したコンテンツをリアルタイムに投影できるため、高い広告効果が期待できる。
一方で、上記のような画像投影装置を用いた大規模なデジタルサイネージの場合、投影対象として一定程度の大きさの平坦面が必要となる。このため、適用可能な場所に限りがあるといった問題がある。これに対して、例えば、建物の窓ガラス(光透過面)のような、所定領域に含まれる複数の面を組み合わせて利用することで、1つのデジタルサイネージを実現することができれば、デジタルサイネージの適用範囲を広げることができる。特に、窓ガラス数の多い中高層の建物に適用できれば、従来よりも大規模なデジタルサイネージが実現できる。
ここで、複数の窓ガラスを組み合わせてデジタルサイネージを実現する場合、各窓ガラスに対応して配置された画像投影装置に、それぞれの位置に応じた投影用動画像を投影する必要がある。このため、生成すべき投影用動画像の数が増大し、投影用動画像の取り扱い(配信、投影、削除等の各種操作)においては、高い操作性が求められることになる。一方で、投影用動画像の生成には多大な時間を要するため、操作者が誤って削除してしまった場合には、再生成に時間がかかり、一定期間、デジタルサイネージを行うことができなくなる。
このようなことから、投影用動画像の管理においては、高い操作性を維持しつつ、誤操作等の発生を防止できるようにすることが望ましい。
本発明は、上記課題に鑑みてなされたものであり、複数の面を組み合わせたデジタルサイネージにおいて、誤操作を防止することを目的とする。
本発明の各実施形態に係る画像投影システムは、以下のような構成を有する。 即ち、複数の投影装置と情報処理装置とがネットワークを介して通信可能に接続された画像投影システムであって、前記情報処置装置は、投影用動画像の生成の際に用いられる補正パラメータを算出する校正処理手段と、建物の外面の所定領域に含まれる窓ガラス群の各窓ガラスの位置、大きさ、前記補正パラメータ及び動画像に基づき、投影用動画像を生成する画像処理手段と、複数の面それぞれに対応する投影装置を介して、前記画像処理手段で生成された各投影用動画像を、前記複数の面に対応する投影面それぞれに、投影予定に基づいて投影するよう制御する制御手段と、を有し、前記複数の投影装置は、前記情報処理装置からの前記投影予定に基づいて、外部メモリに格納された投影用動画像を読み出して投影する投影手段を有し、前記制御手段は、前記各投影用動画像を前記複数の面に対応する投影面それぞれに投影する時間帯が、前記投影予定として指定されたスケジュール情報を生成し、当該スケジュール情報において指定された時間帯に基づいて、前記各投影用動画像を、前記複数の面に対応する投影面それぞれに投影するよう制御することを特徴とする。
本発明の各実施形態によれば、複数の面を組み合わせたデジタルサイネージにおいて、誤操作を防止することが可能になる。
画像投影システムの適用例を示す図である。 建物の各窓ガラスに対応する位置に配置された各サイネージ装置の動作を説明するための図である。 画像投影システムのシステム構成の一例を示す図である。 情報処理装置のハードウェア構成の一例を示す図である。 サイネージ対象情報の一例を示す図である。 画像情報の一例を示す図である。 スケジュール情報の一例を示す図である。 サイネージ処理の流れを示すフローチャートである。 情報処理装置の校正部の機能構成を示す図である。 第1の校正処理のシーケンス図である。 第1の校正処理時に表示される情報処理装置の画面の一例を示す図である。 第1の校正処理時に投影される校正パターン画像の一例を示す図である。 第1の校正処理時に投影される校正パターン画像の他の一例を示す図である。 第2の校正処理のシーケンス図である。 第2の校正処理時に投影される白画像の一例を示す図である。 情報処理装置の画像処理部の機能構成を示す図である。 画像処理の具体例を示す図である。 画像処理の流れを示すフローチャートである。 第1分割処理の流れを示すフローチャートである。 第1分割処理の一例を示す図である。 情報処理装置のサイネージ制御部の機能構成を示す図である。 サイネージ制御処理の流れを示すフローチャートである。 スケジュール管理処理の流れを示すフローチャートである。 投影スケジュール画面及び新規登録画面の一例を示す図である。 投影スケジュール画面及びスケジュール編集画面の一例を示す図である。 スケジュール削除処理の流れを示すフローチャートである。 投影スケジュール画面においてスケジュール削除処理を行った様子を示す図である。 コンテンツ削除処理の流れを示すフローチャートである。 投影スケジュール画面及び未使用コンテンツ一覧画面の一例を示す図である。
以下、各実施形態の詳細について添付の図面を参照しながら説明する。なお、各実施形態に係る明細書及び図面の記載に際して、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省く。
[第1の実施形態]
<1.画像投影システムの適用例>
はじめに、第1の実施形態に係る画像投影システムの適用例について説明する。図1は、画像投影システムの適用例を示す図である。図1の例は、中層のビルである建物110の外面に取り付けられた複数の窓ガラス(光透過面)を組み合わせて利用することで、大規模なデジタルサイネージを実現した様子を示している。
図1に示すように、建物110の道路側の外面には、複数の窓ガラス(窓ガラス群120)が取り付けられている(図1の例では、30枚の窓ガラス)。第1の実施形態に係る画像投影システムでは、建物110の外面に取り付けられた複数の窓ガラス(窓ガラス群120)それぞれに対して、内側から投影用動画像群130に含まれる各投影用動画像を投影する。
これにより、第1の実施形態に係る画像投影システムによれば、窓ガラス30枚分の領域からなる、大規模なデジタルサイネージ(図1の例は、巨大なツリーが表示されたシーンを示している)を実現することができる。また、道路側の外面等のように比較的目立つ場所において、デジタルサイネージを実現することができる。つまり、広告効果の高いデジタルサイネージを実現することができる。
また、第1の実施形態に係る画像投影システムによれば、従来のように、予め設置されている大画面や、窓ガラスのない建物の側壁面等を利用するデジタルサイネージと比較して、デジタルサイネージの適用範囲を広げることができる。
<2.サイネージ装置の動作>
次に、第1の実施形態に係る画像投影システムを構成する各サイネージ装置(本実施形態では、プロジェクタ(投影装置)、電動スクリーン(投影面)、電飾装置を指すものとする)の動作について説明する。
図2は、建物の各窓ガラスに対応する位置に配置された各サイネージ装置の動作を説明するための図である。図2(A)の(a)〜(d)は、建物110の各窓ガラスの内側に配置された各サイネージ装置のうち、プロジェクタ及び電動スクリーンの動作を示している。
図2(A)の(a)に示すように、建物110の各窓ガラスの内側には、プロジェクタが上下に配置されており、1枚の窓ガラスに対して、2台のプロジェクタ(上側プロジェクタ及び下側プロジェクタ)を用いて投影用動画像が投影される。これにより、窓ガラスのサイズが大きい場合でも適切な投影用動画像を投影することができる。
また、図2(A)の(b)に示すように、建物110の各窓ガラスの内側には、電動スクリーンが配置されている。プロジェクタを用いて投影用動画像を投影するにあたっては、電動スクリーンをON状態にすることで光透過度を変化させ、各窓ガラスを半透明の状態にする。なお、電動スクリーン(投影面)は、窓ガラス(投影対象)とともに光透過面を形成する。
図2(A)の(c)は、電動スクリーンをON状態にした後に、上側プロジェクタ及び下側プロジェクタのランプをON状態にした様子を示している。上側プロジェクタは、窓ガラスの上側を投影範囲とし、下側プロジェクタは、窓ガラスの下側を投影範囲としている。なお、上側プロジェクタ及び下側プロジェクタは、それぞれ、投影範囲の一部が重複するように調整されている。つまり、本実施形態では、2台のプロジェクタにより、窓ガラスの大きさに応じた投影範囲への投影用動画像の投影を実現している。
図2(A)の(d)は、上側プロジェクタ及び下側プロジェクタにより、投影用動画像が投影された様子を示している。本実施形態に係る画像投影システムでは、窓ガラス群120に含まれる各窓ガラスそれぞれに対応する各電動スクリーンそれぞれに投影用動画像が投影されることで、全体として、1つのデジタルサイネージを実現する。このため、各窓ガラスに対応する各電動スクリーンに対しては、元の動画像(広告主が提供する動画像)の一部の領域の動画像に基づいて生成された投影用動画像が上下に分割されて、2台のプロジェクタにより投影されることになる。
なお、図2(B)に示すように、第1の実施形態に係る画像投影システムでは、投影用動画像群130の投影が終了した状態で、電飾装置群140(電飾装置140_1〜140_6)がON状態になり、かつ電動スクリーンがOFF状態になるように制御する。
このように、第1の実施形態に係る画像投影システムでは、上側プロジェクタ、下側プロジェクタ、電動スクリーン及び電飾装置群140が互いに連動して動作する。
<3.画像投影システムのシステム構成>
次に、第1の実施形態に係る画像投影システムのシステム構成について説明する。図3は、画像投影システムのシステム構成の一例を示す図である。図3に示すように、画像投影システム300は、プロジェクタ310_1a〜310_30b、外部メモリ320_1a〜320_30b、電動スクリーン330_1〜330_30、制御装置340、電飾装置140_1〜140_6を有する。また、画像投影システム300は、時刻サーバ360、情報処理装置370、撮像装置381、色彩輝度計382を有する。
なお、プロジェクタ310_1a〜310_30b、制御装置340及び時刻サーバ360と、情報処理装置370とは、ネットワーク390を介して通信可能に接続されている。
プロジェクタ310_1a〜310_30bは、建物110の外面の所定領域に取り付けられた窓ガラス群120それぞれの内側において、上下に配置される。上述したとおり、建物110の外面の所定領域には、30枚の窓ガラスが取り付けられているため、本実施形態では、60台のプロジェクタが配置される。
プロジェクタ310_1a〜310_30bは、それぞれ、投影対象となる窓ガラスの大きさに応じた投影範囲に、投影用動画像が歪みなく投影されるよう、校正パターン画像を用いて第1の校正処理を実行する。また、プロジェクタ310_1a〜310_30bは、それぞれ、投影対象となる窓ガラスに対して、所定の色味で投影用動画像が投影されるよう、白画像を用いて第2の校正処理を実行する。
また、プロジェクタ310_1a〜310_30bは、情報処理装置370からの投影開始指示に基づいて、外部メモリ320_1a〜320_30bにそれぞれ格納された投影用動画像の中から、指定された投影用動画像を読み出す。更に、プロジェクタ310_1a〜310_30bは、それぞれが読み出した投影用動画像を投影対象となる窓ガラスに対応する電動スクリーンに投影する。
外部メモリ320_1a〜320_30bは、プロジェクタ310_1a〜310_30bそれぞれに接続される。外部メモリ320_1a〜320_30bは、プロジェクタ310_1a〜310_30bそれぞれにより投影される投影用動画像を格納する。なお、ここでいう外部メモリ320_1a〜320_30bには、例えば、USB(Universal Serial Bus)メモリ等が含まれる。
電動スクリーン330_1〜330_30は、建物110の外面の所定領域に含まれる窓ガラス群120それぞれの内側に配置される。上述したとおり、建物110の外面の所定領域には、30枚の窓ガラスが取り付けられているため、本実施形態では30台の電動スクリーンが配置される。
電動スクリーン330_1〜330_30は、電源ケーブルを介して制御装置340と接続され、制御装置340により、個別にON状態とOFF状態とが制御される。電動スクリーン330_1〜330_30が、制御装置340によりON状態に制御されると、光透過面は光透過度が下がり、半透明の状態になる。一方、電動スクリーン330_1〜330_30が、制御装置340によりOFF状態に制御されると、光透過面は光透過度が上がり、透明の状態になる。
制御装置340は、情報処理装置370からのスクリーンON指示に基づいて、電動スクリーン330_1〜330_30をON状態に制御する。また、制御装置340は、情報処理装置370からのスクリーンOFF指示に基づいて、電動スクリーン330_1〜330_30をOFF状態に制御する。
更に、制御装置340は、情報処理装置370からの電飾ON指示に基づいて、電飾装置140_1〜140_6をON状態に制御する。また、制御装置340は、情報処理装置370からの電飾OFF指示に基づいて、電飾装置140_1〜140_6をOFF状態に制御する。
電飾装置140_1〜140_6は、電源ケーブルを介して制御装置340と接続され、制御装置340により、ON状態とOFF状態とが制御される。
時刻サーバ360は、プロジェクタ310_1a〜310_30bと、情報処理装置370との間で、時刻を同期させるために、情報処理装置370に時刻情報を提供する。
情報処理装置370は、画像投影システム300におけるサイネージ処理を制御するための装置である。情報処理装置370には、校正プログラム、画像処理プログラム、サイネージ制御プログラムがインストールされている。情報処理装置370は、これらのプログラムを実行することで、校正部371、画像処理部372、サイネージ制御部373として機能する。
校正部371は、プロジェクタ310_1a〜310_30bとともに、第1の校正処理及び第2の校正処理を実行する。また、校正部371は、第1の校正処理を実行することで、プロジェクタ310_1a〜310_30bによりそれぞれ投影される投影用動画像の生成の際に用いられる補正パラメータを算出する。
更に、校正部371は、プロジェクタ310_1a〜310_30bとともに、第2の校正処理を実行することで、プロジェクタ310_1a〜310_30bに設定されるRGBレベルを算出する。
画像処理部372は、分割手段の一例である。画像処理部372は、サイネージ対象情報管理部375に格納されたサイネージ対象情報と、画像情報管理部376に格納された画像情報とを読み出し、広告主から提供された元の動画像から投影用動画像を生成する。サイネージ対象とは、画像投影システム300により大規模なデジタルサイネージが実現される建物110を指す。また、サイネージ対象情報は、建物110の外面の所定領域に含まれる窓ガラス群120の各窓ガラスの位置、大きさ等の情報を含む。更に、画像情報は、投影用動画像の生成の際に用いられる各種画像や補正パラメータ等を管理するための情報を含む。
なお、画像処理部372は、投影用動画像の生成に際して、校正部371により算出された補正パラメータを用いる。
また、画像処理部372は、投影用動画像を生成する過程で生成した、分割静止画像(詳細は後述)を画像情報管理部376に格納する。更に、画像処理部372は、生成した投影用動画像群の各投影用動画像を、プロジェクタ310_1a〜310_30bそれぞれに送信する。これにより、プロジェクタ310_1a〜310_30bは、それぞれ、外部メモリ320_1a〜320_30bに投影用動画像を格納する。
サイネージ制御部373は、制御手段の一例である。サイネージ制御部373は、スケジュール情報を生成し、スケジュール情報管理部377に格納する。また、サイネージ制御部373は、スケジュール情報管理部377に格納したスケジュール情報に基づいて、サイネージ制御処理を行う。例えば、サイネージ制御部373は、スケジュール情報に基づいて識別される投影開始時刻または投影終了時刻に応じて、プロジェクタ310_1a〜310_30bそれぞれに、投影開始指示または投影終了指示を送信する。また、サイネージ制御部373は、スケジュール情報に基づいて識別される投影開始時刻または投影終了時刻に応じて、電動スクリーン330_1〜330_30にスクリーンON指示またはスクリーンOFF指示を送信する。更に、サイネージ制御部373は、スケジュール情報に基づいて識別される投影開始時刻または投影終了時刻に応じて、電飾装置140_1〜140_6に電飾OFF指示または電飾ON指示を送信する。
撮像装置381は、プロジェクタ310_1a〜310_30bそれぞれが第1の校正処理を実行する際に、プロジェクタ310_1a〜310_30bそれぞれが投影した校正パターン画像を撮影し、情報処理装置370に送信する。なお、撮像装置381と、情報処理装置370とは、例えば、USBケーブルを介して接続される。
色彩輝度計382は、プロジェクタ310_1a〜310_30bそれぞれが第2の校正処理を実行する際に、プロジェクタ310_1a〜310_30bそれぞれが投影した白画像について、色温度を測定し、測定結果を情報処理装置370に送信する。なお、色彩輝度計382と、情報処理装置370とは、例えば、USBケーブルを介して接続される。
<4.情報処理装置のハードウェア構成>
次に、情報処理装置370のハードウェア構成について説明する。図4は、情報処理装置のハードウェア構成の一例を示す図である。
図4に示すように、情報処理装置370は、CPU(Central Processing Unit)401、ROM(Read Only Memory)402、RAM(Random Access Memory)403を備える。CPU401、ROM402、RAM403は、いわゆるコンピュータを形成する。更に、情報処理装置370は、補助記憶部404、表示部405、入力部406、ネットワークI/F(Interface)部407、USBI/F部408を備える。なお、情報処理装置370の各ハードウェアは、バス409を介して相互に接続されている。
CPU401は、補助記憶部404に格納された各種プログラム(例えば、校正プログラム、画像処理プログラム、サイネージ制御プログラム等)を実行するデバイスである。
ROM402は不揮発性の主記憶デバイスである。ROM402は、補助記憶部404に格納された各種プログラムを、CPU401が実行するために必要な各種プログラム、データ等を格納する。具体的には、BIOS(Basic Input/Output System)やEFI(Extensible Firmware Interface)等のブートプログラムなどを格納する。
RAM403は、DRAM(Dynamic Random Access Memory)やSRAM(Static Random Access Memory)等の揮発性の主記憶デバイスである。RAM403は、補助記憶部404に格納された各種プログラムがCPU401によって実行される際に展開される、作業領域を提供する。
補助記憶部404は、CPU401により実行される各種プログラムや各種プログラムが実行される際に用いられる各種情報を格納する補助記憶デバイスである。補助記憶部404に格納される各種情報には、サイネージ対象情報、画像情報、スケジュール情報及び画像情報により管理される各種情報、補正パラメータ等が含まれる。なお、サイネージ対象情報管理部375、画像情報管理部376、スケジュール情報管理部377は、補助記憶部404により実現される。
表示部405は、各種画面を表示する表示デバイスである。入力部406は、情報処理装置370に各種情報を入力するための入力デバイスである。ネットワークI/F部407は、ネットワーク390と接続するためのインタフェースデバイスである。情報処理装置370は、プロジェクタ310_1a〜310_30b、制御装置340、時刻サーバ360との間の通信を、ネットワークI/F部407を介して行う。
USBI/F部408は、USBケーブルを接続するためのインタフェースデバイスである。情報処理装置370は、撮像装置381、色彩輝度計382との間のデータの送受信を、USBI/F部408を介して行う。
<5.各管理部に格納される情報>
次に、情報処理装置370の各管理部(サイネージ対象情報管理部375、画像情報管理部376、スケジュール情報管理部377)に格納される各種情報(サイネージ対象情報、画像情報、スケジュール情報)について説明する。
(1)サイネージ対象情報
はじめに、サイネージ対象情報管理部375に格納されるサイネージ対象情報について説明する。図5は、サイネージ対象情報の一例を示す図である。図5(a)に示すように、サイネージ対象情報500は、サイネージ対象ごとに生成される。本実施形態では、建物110のサイネージ対象IDを、"S001"としている。
また、図5(a)に示すように、サイネージ対象情報500には、情報の項目として、"フロア"、"窓ID"、"窓情報"、"プロジェクタID"、"電動スクリーンID"、"電飾装置ID"が含まれる。
"フロア"には、建物110の外面の所定領域に含まれる窓ガラス群120が取り付けられているフロアのフロア番号が格納される。
"窓ID"には、建物110の外面の所定領域に含まれる窓ガラス群120の各窓ガラスを識別するための識別子が格納される。
"窓情報"には、更に、"位置"、"横サイズ"、"縦サイズ"が含まれる。ここで、図5(b)を参照しながら、"窓情報"に含まれる各窓ガラスの"位置"、"横サイズ"、"縦サイズ"について説明する。
図5(b)に示すように、画像投影システム300は、建物110の外面の所定領域510を利用して、大規模なデジタルサイネージを実現する。このとき、画像投影システム300では、所定領域510に含まれる各窓ガラスのレイアウトを特定する際に基準となる点(原点)と、基準となる軸(x軸、y軸)とを規定する。
図5(b)において、点520は、所定領域510における原点を示している。また、軸530は、所定領域510において点520を原点とした場合のx軸を示しており、軸540は、所定領域510において点520を原点とした場合のy軸を示している。
図5(b)に示すように、所定領域510、原点520、x軸530、y軸540を規定することで、各窓ガラスのレイアウト(位置、横サイズ、縦サイズ)を一意に特定することができる。
図5(a)の説明に戻る。"位置"には、建物110の外面の所定領域510において、各窓ガラスの左下の角の位置を示す座標が格納される。図5(a)の場合、窓ID="W201"の窓ガラスの左下の角の位置の座標は、原点(0,0)である。
"横サイズ"には、各窓ガラスの横方向の長さ(幅)が格納される。例えば、窓ID="W201"の窓ガラスの場合、左下の角の位置の座標が(0,0)であり、右下の角の位置の座標が(x12,0)である。したがって、横サイズ="x12"となる。また、窓ID="W202"の窓ガラスの場合、左下の角の位置の座標が(x21,0)であり、右下の角の位置の座標が(x22,0)である。したがって、横サイズ="x22−x21"となる。
"縦サイズ"には、各窓ガラスの縦方向の長さ(高さ)が格納される。例えば、窓ID="W201"の窓ガラスの場合、左下の角の位置の座標が(0,0)であり、左上の角の位置の座標が(0,y12)である。したがって、縦サイズ="y12"となる。また、窓ID="W301"の窓ガラスの場合、左下の角の位置の座標が(0,y21)であり、左上の角の位置の座標が(0,y22)である。したがって、縦サイズ="y22−y21"となる。
"プロジェクタID"には、各窓ガラスに対応する位置に配置されたプロジェクタを識別するための識別子が格納される。図5(a)の例は、窓ID="W201"により識別される窓ガラスに対応する位置には、プロジェクタID="PJ201A"、"PJ201B"により識別されるプロジェクタがそれぞれ配置されていることを示している。
"電動スクリーンID"には、各窓ガラスに対応する位置に配置された電動スクリーンを識別するための識別子が格納される。図5(a)の例は、窓ID="W201"により識別される窓ガラスに対応する位置には、電動スクリーンID="SC201"により識別される電動スクリーンが配置されていることを示している。
"電飾装置ID"には、各フロアのいずれかの窓ガラスに対応する位置に配置された電飾装置を識別するための識別子が格納される。図5(a)の例は、フロア="2F"により識別されるフロアには、電飾装置ID="E200"により識別される電飾装置が配置されていることを示している。
(2)画像情報
次に、画像情報管理部376に格納される画像情報について説明する。図6は、画像情報の一例を示す図である。図6に示すように、画像情報600には、情報の項目として、"動画像ID"、"サイネージ対象ID"、"窓ID"、"プロジェクタID"が含まれる。また、画像情報600には、情報の項目として、"補正パラメータID"、"算出日時"、"分割静止画像群ID"、"投影用動画像ID"、"生成日時"が含まれる。
"動画像ID"には、広告主から提供される元の動画像を識別するための識別子が格納される。図6の例は、動画像IDとして"C100"〜"C105"によりそれぞれ識別される動画像が、画像情報管理部376に格納されていることを示している。
"サイネージ対象ID"には、広告主から提供される元の動画像に基づいてデジタルサイネージを実現する建物110を識別するための識別子が格納される。図6の例は、動画像ID="C100"〜"C105"によりそれぞれ識別される動画像に基づいて、サイネージ対象ID="S001"により識別される建物110において、デジタルサイネージが実現されることを示している。
"窓ID"には、サイネージ対象ID="S001"により識別される建物110の外面の所定領域510に含まれる窓ガラス群120の各窓ガラスを識別するための識別子が格納される。
"プロジェクタID"には、窓IDにより識別される各窓ガラスに対応する位置に配置されたプロジェクタを識別するための識別子が格納される。
"補正パラメータID"には、校正部371により算出された補正パラメータを識別するための識別子が格納される。上述したとおり、第1の校正処理が実行されることで、校正部371では、窓ガラスごとに補正パラメータを算出するため、補正パラメータIDは、窓IDと対応付けて格納される。"算出日時"には、補正パラメータが算出された日時が格納される。
"分割静止画像群ID"には、動画像ID="C100"〜"C105"によりそれぞれ識別される動画像に基づいて、それぞれの投影用動画像群を生成する過程で生成された、分割静止画像群を識別するための識別子が格納される。
"投影用動画像ID"には、動画像ID="C100"〜"C105"によりそれぞれ識別される動画像に基づいて生成された、それぞれの投影用動画像群に含まれる各投影用動画像を識別するための識別子が格納される。
"生成日時"には、投影用動画像IDにより識別される各投影用動画像が生成された日時が格納される。
図6の例は、動画像ID="C100"〜"C105"の動画像から、それぞれ投影用動画像ID="M201A"、"M201B"、・・・"M705B"が生成されたことを示している。
また、図6の例によれば、動画像ID="C100"に対応付けられた投影用動画像ID="M201A"の投影用動画像は、窓ID="W201"の窓ガラスに対応する位置に配置されたプロジェクタID="PJ201A"のプロジェクタにより投影される。
また、図6の例によれば、動画像ID="C100"に対応付けられた投影用動画像ID="M201A"の投影用動画像の生成に際しては、"2016年5月25日"に補正パラメータ(補正パラメータID="P201")が算出されている。
また、図6の例によれば、当該補正パラメータ(補正パラメータID="P201")により、分割静止画像群ID="C201"の分割静止画像群が補正されている。更に、図6の例によれば、補正された分割静止画像群ID="C201"の分割静止画像群に基づいて、"2016年6月10日"に、投影用動画像ID="M201A"及び"M201B"の投影用動画像がそれぞれ生成されている。
なお、以下では、動画像ID="C100"の動画像に基づいて生成された、投影用動画像ID="M201A"〜"M705B"の投影用動画像群を、"コンテンツ100"と称す。同様に、動画像ID="C101"の動画像に基づいて生成された、投影用動画像ID="M201A"〜"M705B"の投影用動画像群を、"コンテンツ101"と称す。また、動画像ID="C102"の動画像に基づいて生成された、投影用動画像ID="M201A"〜"M705B"の投影用動画像群を、"コンテンツ102"と称す。また、動画像ID="C103"の動画像に基づいて生成された、投影用動画像ID="M201A"〜"M705B"の投影用動画像群を、"コンテンツ103"と称す。また、動画像ID="C104"の動画像に基づいて生成された、投影用動画像ID="M201A"〜"M705B"の投影用動画像群を、"コンテンツ104"と称す。更に、動画像ID="C105"の動画像に基づいて生成された、投影用動画像ID="M201A"〜"M705B"の投影用動画像群を、"コンテンツ105"と称す。
(3)スケジュール情報
次に、スケジュール情報管理部377に格納されるスケジュール情報について説明する。図7は、スケジュール情報の一例を示す図である。図7(a)〜(c)に示すように、スケジュール情報710〜730は、サイネージ対象ごと、曜日ごとに生成される。なお、図7(a)〜(c)は、それぞれ、サイネージ対象ID="S001"の建物110についての"金曜日"〜"日曜日"のスケジュール情報を示している。図7(a)〜(c)に示すように、スケジュール情報710〜730には、情報の項目として、"時刻"、"サイネージ装置"が含まれる。
"時刻"には、サイネージ対象ID="S001"により識別される建物110の窓ガラス群120を、デジタルサイネージとして利用することができる時間帯が記載される。図7(a)〜(c)の例によれば、10時00分から22時00分までの間の時間帯において、デジタルサイネージとして利用することが可能である。
"サイネージ装置"には、更に、"プロジェクタ"、"電動スクリーン"、"電飾装置"が含まれる。"プロジェクタ"には、プロジェクタ310_a〜310_30bにより投影用動画像が投影される時間帯が記載される。図7(a)の例によれば、18時00分から19時00分の間に、動画像ID="C100"に基づいて生成された投影用動画像群("コンテンツ100")が投影される。また、図7(b)の例によれば、18時00分から19時00分の間及び20時30分から21時30分の間に、動画像ID="C100"、"C101"に基づいて生成された投影用動画像群("コンテンツ100"、"コンテンツ101")が投影される。また、図7(c)の例によれば、18時00分から19時00分の間及び20時00分から21時00分の間に、動画像ID="C100"、"C102"に基づいて生成された投影用動画像群("コンテンツ100"、"コンテンツ102")が投影される。
"電動スクリーン"には、電動スクリーン330_1〜330_30がON状態になる時間帯が記載される。電動スクリーン330_1〜330_30がON状態になる時間帯は、プロジェクタ310_1a〜310_30bにより投影用動画像群が投影される時間帯と同じ時間帯となる。したがって、図7(a)の例では、18時00分〜19時00分の間、ON状態になる。また、図7(b)の例では、18時00分〜19時00分の間及び20時30分〜21時30分の間、図7(c)の例では、18時00分〜19時00分の間及び20時00分〜21時00の間、ON状態になる。
"電飾装置"には、電飾装置140_1〜140_6がON状態になる時間帯が記載される。本実施形態において、電飾装置140_1〜140_6は、夕方以降(図7の例では、17時00分以降)の時間帯においてON状態になる。ただし、プロジェクタ310_1a〜310_30bにより投影用動画像群が投影される時間帯は除かれる。
このように、スケジュール情報710〜730は、それぞれ、プロジェクタの投影に関するスケジュールと、電動スクリーンの動作に関するスケジュールと、電飾装置の動作に関するスケジュールとを含む。以下では、プロジェクタの投影に関するスケジュールを「投影スケジュール」、電動スクリーンの動作に関するスケジュールを「スクリーンスケジュール」、電飾装置の動作に関するスケジュールを「電飾スケジュール」と称する。
<6.画像投影システムにおけるサイネージ処理の流れ>
次に、画像投影システム300におけるサイネージ処理の流れについて説明する。図8は、サイネージ処理の流れを示すフローチャートである。建物110において、画像投影システム300の設置が完了することで、画像投影システム300では、図8に示すサイネージ処理を実行する。
具体的には、ステップS801において、画像投影システム300は、プロジェクタ310_1a〜310_30bの校正処理(第1の校正処理及び第2の校正処理等)を行う。
ステップS802において、画像投影システム300は、画像処理を行う。具体的には、画像投影システム300は、複数の投影用動画像群の生成及び各プロジェクタ310_1a〜310_30bへの投影用動画像の送信等を行う。なお、ここでいう複数の投影用動画像群には、"コンテンツ100"の投影用動画像ID="M201A"〜"M705B"の投影用動画像群から"コンテンツ105"の投影用動画像ID="M201A"〜"M705B"の投影用動画像群が含まれる。
ステップS803において、画像投影システム300は、サイネージ制御処理を行う。具体的には、画像投影システム300は、スケジュール情報710〜730を生成する。また、画像投影システム300は、スケジュール情報710〜730に基づいて、プロジェクタ310_1a〜310_30bによる投影用動画像群の投影開始/終了制御を行う。更に、画像投影システム300は、スケジュール情報710〜730に基づいて、電動スクリーン330_1〜330_30のON/OFF制御、電飾装置140_1〜140_6のON/OFF制御を行う。
<7.校正処理の詳細>
次に、画像投影システム300における校正処理(ステップS801)の詳細について説明する。
(1)校正部の機能構成
はじめに、校正処理を実行する、情報処理装置370の校正部371の機能構成について説明する。図9は、情報処理装置の校正部の機能構成を示す図である。
図9に示すように校正部371は、第1校正部911及び第2校正部912を有する。第1校正部911は、第1の校正処理時に起動し、各種処理を実行する。具体的には、第1校正部911は、画像処理部372が投影用動画像を生成する際に用いる補正パラメータを算出する。また、第1校正部911は、算出した補正パラメータを画像情報管理部376に格納するとともに、算出した補正パラメータを示す補正パラメータID及び算出日時を、窓IDと対応付けて画像情報600に格納する。これにより、画像処理部372では、プロジェクタ310_1a〜310_30bにより投影された際に歪みのない投影用動画像を生成することができる。
第2校正部912は、第2の校正処理時に起動し、各種処理を実行する。具体的には、第2校正部912は、投影用動画像が所定の色味で投影されるよう、RGBレベルを算出し、算出したRGBレベルをプロジェクタ310_1a〜310_30bに設定する。
(2)第1の校正処理の流れ
次に、第1の校正処理の詳細について、図11〜図13を逐次参照しながら、図10のシーケンス図に基づいて説明する。図10は、第1の校正処理のシーケンス図である。
図10に示すように、ステップS1001において、操作者1000は、情報処理装置370に対して、第1校正部911を起動させるための起動指示を入力する。
操作者1000により起動指示が入力されたことに応じて、ステップS1002では、第1校正部911が起動し、情報処理装置370の表示部405には、第1の校正処理を実行する対象(プロジェクタ)を操作者1000が選択するための選択画面が表示される。
ステップS1003において、操作者1000は、表示部405に表示された選択画面の中から、第1の校正処理を実行する対象が配置されている窓ガラスを選択する。
操作者1000により窓ガラスが選択されたことに応じて、第1校正部911は、選択された窓ガラスに対応する位置に配置されているプロジェクタを識別する。そして、ステップS1004及びS1005において、第1校正部911は、識別したプロジェクタそれぞれに対して、ランプON指示を送信する。
図11は、第1の校正処理時に表示される情報処理装置の画面の一例を示す図である。第1校正部911が起動すると、情報処理装置370の表示部405には、選択画面1100が表示される。図11に示すように、選択画面1100には、建物110の窓ガラス群120のレイアウト1110が含まれる。
操作者1000は、レイアウト1110内の窓ガラスを示す矩形ボタンを押圧し、完了ボタン1120を押圧することで、第1の校正処理を実行する対象が配置されている窓ガラスを選択する。図11の例は、矩形ボタン1111が押圧され、完了ボタン1120が押圧された様子を示している。
矩形ボタン1111により特定される窓ガラスは、窓ID="W703"の窓ガラス1128である。図11の下側に示すとおり、窓ガラス1128に対応する位置には、プロジェクタ310_28a(プロジェクタID="PJ703A")とプロジェクタ310_28b(プロジェクタID="PJ703B")とが配置されている。
したがって、ステップS1004において、第1校正部911は、プロジェクタ310_28aにランプON指示を送信する。また、ステップS1005において、第1校正部911は、プロジェクタ310_28bにランプON指示を送信する。なお、この時点で、窓ガラス1128の電動スクリーン330_28(電動スクリーンID="SC703")はON状態になっているものとする。
続いて、ステップS1006において、第1校正部911は、校正パターン画像を生成する。第1校正部911は、校正パターン画像として、2つの異なる校正パターン画像を生成する。
ステップS1007において、第1校正部911は、プロジェクタ310_28aに対して、第1の校正パターン画像を送信する。また、ステップS1008において、第1校正部911は、プロジェクタ310_28bに対して、第2の校正パターン画像を送信する。
ステップS1009において、プロジェクタ310_28aは、第1校正部911より送信された第1の校正パターン画像を投影する。また、ステップS1010において、プロジェクタ310_28bは、第1校正部911より送信された第2の校正パターン画像を投影する。
ステップS1011において、操作者1000は、投影された第1及び第2の校正パターン画像を撮像装置381を用いて撮影するために、撮像装置381に撮影指示を入力する。
ステップS1012において、撮像装置381は、投影された第1及び第2の校正パターン画像について撮影処理を実行し、ステップS1013において、撮像装置381は撮影結果を情報処理装置370に送信する。
図12は、第1の校正処理時に投影される校正パターン画像の一例を示す図である。図12に示すように、プロジェクタ310_28aは、第1の校正パターン画像を投影し、プロジェクタ310_28bは、第2の校正パターン画像を投影する。操作者1000は、投影された第1及び第2の校正パターン画像を撮像装置381を用いて撮影することで、撮影結果を情報処理装置370に送信する。
図10の説明に戻る。ステップS1014において、操作者1000は、第1の校正パターン画像と第2の校正パターン画像を入れ替えるための入れ替え指示を入力する。
ステップS1015において、第1校正部911は、入れ替え指示に応じて、プロジェクタ310_28aに第2の校正パターン画像を送信する。また、ステップS1016において、第1校正部911は、プロジェクタ310_28bに第1の校正パターン画像を送信する。
ステップS1017において、プロジェクタ310_28aは、第1校正部911より送信された第2の校正パターン画像を投影する。また、ステップS1018において、プロジェクタ310_28bは、第1校正部911より送信された第1の校正パターン画像を投影する。
ステップS1019において、操作者1000は、投影された第2及び第1の校正パターン画像を撮像装置381を用いて撮影するために、撮像装置381に撮影指示を入力する。
ステップS1020において、撮像装置381は、投影された第2及び第1の校正パターン画像について撮影処理を実行し、ステップS1021において、撮像装置381は、撮影結果を情報処理装置370に送信する。
図13は、第1の校正処理時に投影される校正パターン画像の他の一例を示す図である。図13に示すように、プロジェクタ310_28aは、第2の校正パターン画像を投影し、プロジェクタ310_28bは、第1の校正パターン画像を投影する。操作者1000は、投影された第2及び第1の校正パターン画像を撮像装置381を用いて撮影することで、撮影結果を情報処理装置370に送信する。
再び、図10の説明に戻る。ステップS1022において、操作者1000は、第1校正部911に対して、補正パラメータの算出に用いる撮影結果を指定するための入力を行う。ステップS1023において、第1校正部911は、操作者1000により指定された撮影結果を読み出す。
ステップS1024において、操作者1000は、補正パラメータの算出を指示するための入力を行う。ステップS1025において、第1校正部911は、読み出した撮影結果に基づいて、補正パラメータを算出する。
なお、第1校正部911において算出される補正パラメータには、第1及び第2の校正パターン画像に対して位置合わせ補正、スケール合わせ補正、歪み補正等の各種幾何学的な補正を行うための幾何学パラメータが含まれる。この幾何学パラメータは、例えば、電動スクリーンや投影装置の設置位置、投影装置の光学機器の個体差等の種々の要因によって変動する。このため、幾何学パラメータは、窓ガラス(電動スクリーンと投影装置との組み合わせ)ごとに異なる場合が多い。後述する画像処理部372では、窓ガラスごとに適切な幾何学パラメータを用いて補正を行うことで、図1のように投影した投影用動画像群130のうちの一部の投影用動画像が歪んで表示される、といった不具合が発生するのを回避する。
第1校正部911は、算出した補正パラメータを画像情報管理部376に格納する。また、第1校正部911は、補正パラメータID(例えば、"P703")及び、算出日時(例えば、"2016.5.25")を、窓ID(例えば、"W703")と対応付けて画像情報600に格納する。
(3)第2の校正処理の流れ
次に、第2の校正処理の詳細について、図15を参照しながら、図14のシーケンス図に基づいて説明する。図14は、第2の校正処理のシーケンス図である。
図14に示すように、ステップS1401において、操作者1000は、情報処理装置370に対して、第2校正部912を起動させるための起動指示を入力する。
操作者1000により起動指示が入力されたことに応じて、ステップS1402では、第2校正部912が起動し、情報処理装置370の表示部405には、第2の校正処理を実行する対象(プロジェクタ)を操作者1000が選択するための選択画面が表示される。
ステップS1403において、操作者1000は、表示部405に表示された選択画面の中から、第2の校正処理を実行する対象が配置されている窓ガラスを選択する。
操作者1000により窓ガラスが選択されたことに応じて、第2校正部912は、選択された窓ガラスに対応する位置に配置されている電動スクリーンを識別する。そして、ステップS1404において第2校正部912は、識別した電動スクリーンに対して、スクリーンOFF指示を送信する。
なお、図14の例は、第1の校正処理同様、窓ID="W703"の窓ガラス1128が選択され、対応する電動スクリーン330_28に対して、スクリーンOFF指示が送信された場合を示している。
第2校正部912よりスクリーンOFF指示が送信されたことに応じて、ステップS1405では、電動スクリーン330_28がOFF状態になる。
ステップS1406において、第2校正部912は、窓ID="W703"の窓ガラス1128に対応する位置に配置されたプロジェクタ310_28a(プロジェクタID="PJ703A")に対して、ランプON指示を送信する。これにより、プロジェクタn'310_28aのランプがON状態になる。
ステップS1407において、操作者1000は、情報処理装置370に対して、プロジェクタ310_28aに白画像を投影するための投影指示を入力する。
ステップS1408において、第2校正部912は、操作者1000による白画像投影指示に応じて、プロジェクタ310_28aに対して、白画像投影指示を送信する。
ステップS1409において、プロジェクタ310_28aは、第2校正部912より送信された白画像投影指示に応じて、全白投影を行う。
ステップS1410において、操作者1000は、プロジェクタ310_28aにより全白投影された窓ガラスの色温度を測定するための測定指示を、色彩輝度計382に対して入力する。
ステップS1411において、色彩輝度計382は、全白投影された窓ガラス1128の色温度を測定する。ステップS1412において、操作者1000は、測定した色温度を測定結果として情報処理装置370に入力する。
ステップS1413において、第2校正部912は、操作者1000により入力された色温度を、RGBレベルに変換する変換処理を行う。
ステップS1414において、第2校正部912は、変換処理を行うことで算出したRGBレベルを、プロジェクタ310_28aに送信する。
ステップS1415において、プロジェクタ310_28aは、第2校正部912より送信されたRGBレベルを設定する。
図15は、第2の校正処理時に投影される白画像の一例を示す図である。図15に示すように、電動スクリーン330_28がOFF状態において、プロジェクタ310_28aは、白画像を窓ガラス1128に投影する。また、操作者1000は、色彩輝度計382を用いて窓ガラス1128の色温度を測定し、測定結果を情報処理装置370に入力する。これにより、情報処理装置370では、RGBレベルが算出され、プロジェクタ310_28aには、測定結果に応じたRGBレベルが設定される。
図14の説明に戻る。ステップS1416において、操作者1000は、情報処理装置370に対して、第2の校正処理の終了指示を入力する。ステップS1417において、第2校正部912は、操作者1000により終了指示が入力されたことに応じて、電動スクリーン330_28に対して、スクリーンON指示を送信する。
第2校正部912よりスクリーンON指示が送信されたことに応じて、ステップS1418では、電動スクリーン330_28がON状態になる。
<8.画像処理の詳細>
次に、画像投影システム300における画像処理(ステップS802)の詳細について説明する。
(1)画像処理部の機能構成
はじめに、画像処理を実行する、情報処理装置370の画像処理部372の機能構成について説明する。図16は、情報処理装置の画像処理部の機能構成を示す図である。
図16に示すように画像処理部372は、対象情報取得部1611、画像情報取得部1612、反転部1613、デコード部1614を有する。また、画像処理部372は、第1分割部1615、補正部1616、第2分割部1617、エンコード部1618、送信部1619を有する。
対象情報取得部1611は、サイネージ対象情報管理部375より、サイネージ対象情報を読み出し、第1分割部1615に通知する。
画像情報取得部1612は、画像情報管理部376より、広告主から提供された動画像を読み出し、反転部1613に通知する。
反転部1613は、画像情報取得部1612より通知された動画像の左右を反転させる。画像投影システム300では、透明または半透明の光透過面(窓ガラス及び電動スクリーン)に対して内側から投影し、投影結果が、外側から視認される。このため、予め左右を反転しておく必要がある。このように、反転部1613が反転処理を行うことで、広告主が意図した動画像とは左右が反転した動画像が視認される、といった事態を回避することができる。反転部1613は、反転後の動画像をデコード部1614に通知する。
デコード部1614は、左右が判定された動画像をデコード処理し、フレーム単位に分解することで、静止画像群を抽出する。デコード部1614は、抽出した静止画像群に含まれる各静止画像を、順次、第1分割部1615に通知する。
第1分割部1615は、デコード部1614から順次通知される各静止画像について、対象情報取得部1611から通知されたサイネージ対象情報500に基づいて、複数の静止画像に分割する第1分割処理を行う。これにより、第1分割部1615は、窓ガラスの位置及び窓ガラスのサイズに応じた分割静止画像(分割画像)を生成することができる。
また、第1分割部1615は、静止画像群に含まれる全ての静止画像に対して第1分割処理を行うことで取得した複数の分割静止画像について、同じ窓ガラスの分割静止画像ごとに分けることで、窓ガラスの数分の複数の分割静止画像群を生成する。第1分割部1615は、生成した複数の分割静止画像群を、画像情報管理部376に格納する。
また、第1分割部1615は、生成した複数の分割静止画像群それぞれに、分割静止画像群IDを付し、窓IDと対応付けて画像情報600に格納する。
さらに、第1分割部1615は、生成した複数の分割静止画像群それぞれを、窓IDと対応付けて補正部1616に通知する。
補正部1616は、第1分割部1615より通知された複数の分割静止画像群それぞれを、窓IDに応じた補正パラメータを用いて補正する。また、補正部1616は、補正後の複数の分割静止画像群を第2分割部1617に通知する。
第2分割部1617は、補正部1616より通知された、補正後の複数の分割静止画像群それぞれを、プロジェクタ単位に分割する。補正部1616により通知された、補正後の複数の分割静止画像群は、それぞれ窓ガラス単位で生成されているため、第2分割部1617では、プロジェクタ単位に分割する。
エンコード部1618は、プロジェクタ単位に分割された補正後の複数の分割静止画像群を、プロジェクタ単位でエンコード処理し、プロジェクタの数分の複数の投影用動画像を生成する。エンコード部1618は、生成した複数の投影用動画像を識別するための投影用動画像IDと生成日時とを、プロジェクタIDと対応付けて画像情報600に格納する。
送信部1619は、エンコード部1618により生成された複数の投影用動画像を、対応するプロジェクタにそれぞれ送信する。なお、送信部1619が投影用動画像を、対応するプロジェクタに事前に送信しておくことで、サイネージ制御部373では、投影開始時に、プロジェクタに対して投影開始指示を送信すれば足りることになる。これにより、プロジェクタに対して投影開始時に投影用動画像を送信する構成とした場合と比較して、投影用動画像の投影に際して遅延が生じる可能性を低減させることができる。
(2)画像処理の具体例
次に、画像処理部372による画像処理の具体例について説明する。図17は、画像処理の具体例を示す図である。ここでは、"コンテンツ100"を生成するための画像処理について説明する。
図17において、動画像1710は、広告主から提供された動画像ID="C100"の動画像であり、MPEG4形式で画像情報管理部376に格納されている。画像情報取得部1612が、動画像1710を読み出し、反転部1613に通知すると、反転部1613は、動画像1710の左右を反転させ、反転後の動画像1711を生成する。
反転後の動画像1711は、デコード部1614によりデコード処理され、複数の静止画像からなる静止画像群として抽出される。更に、抽出された静止画像群に対しては、第1分割部1615が、サイネージ対象情報500に基づく第1分割処理を行い、複数の分割静止画像群を生成する。
なお、複数の分割静止画像群(分割静止画像群1720_1、1720_2、・・・1720_30)には、それぞれ、分割静止画像群ID(C201、C202、・・・C705)が付され、窓IDと対応付けて画像情報600に格納される。
また、複数の分割静止画像群1720_1、1720_2、・・・1720_30に対しては、補正部1616が、それぞれ、対応する補正パラメータを用いて補正を行う。例えば、補正部1616は、分割静止画像群1720_1を、補正パラメータ1730_1(補正パラメータID="P201")を用いて補正する。また、補正部1616は、分割静止画像群1720_2を、補正パラメータ1730_2(補正パラメータID="P202")を用いて補正する。更に、補正部1616は、分割静止画像群1720_30を、補正パラメータ1730_30(補正パラメータID="P705")を用いて補正する。
補正パラメータにより補正された補正後の分割静止画像群1720_1、1720_2、・・・1720_30は、それぞれ、第2分割部1617により、プロジェクタ単位に分割される。例えば、補正後の分割静止画像群1720_1は、プロジェクタ310_1a用の分割静止画像群1740_1aと、プロジェクタ310_1b用の分割静止画像群1740_1bとに分割される。
同様に、補正後の分割静止画像群1720_30は、プロジェクタ310_30a用の分割静止画像群1740_30aと、プロジェクタ310_30b用の分割静止画像群1740_30bとに分割される。
第2分割部1617によりプロジェクタ単位に分割された補正後の分割静止画像群1740_1a〜1740_30bに対しては、エンコード部1618がエンコード処理を行う。これにより、エンコード部1618は、MPEG4形式の投影用動画像を生成する。
例えば、エンコード部1618は、プロジェクタ310_1a用の分割静止画像群1740_1aをエンコード処理することで、投影用動画像1750_1aを生成する。また、エンコード部1618は、プロジェクタ310_1b用の分割静止画像群1740_1bをエンコード処理することで、投影用動画像1750_1bを生成する。更に、エンコード部1618は、プロジェクタ310_30a用の分割静止画像群1740_30a、プロジェクタ310_30b用の分割静止画像群1740_30bをエンコード処理することで、投影用動画像1750_30a、1750_30bを生成する。これにより、"コンテンツ100"が生成される。
エンコード部1618は、生成した複数の投影用動画像1750_1a〜1750_30bを識別するための投影用動画像ID(M201A、M201B、・・・M705A、M705B)及び生成日時を、プロジェクタIDと対応付けて画像情報600に格納する。
また、送信部1619は、生成された複数の投影用動画像1750_1a〜1750_30bを、対応するプロジェクタに送信する。例えば、送信部1619は、投影用動画像1750_1aを、プロジェクタ310_1aに送信する。また、投影用動画像1750_1bを、プロジェクタ310_1bに送信する。更に、送信部1619は、投影用動画像1750_30aを、プロジェクタ310_30aに、投影用動画像1750_30bを、プロジェクタ310_30bにそれぞれ送信する。
(3)画像処理の流れ
次に、画像処理の流れについて、図18のフローチャートに基づいて説明する。図18は、画像処理の流れを示すフローチャートである。
ステップS1801において、画像情報取得部1612は、画像情報管理部376より動画像を取得する。
ステップS1802において、対象情報取得部1611は、サイネージ対象情報管理部375より、サイネージ対象情報500を取得する。
ステップS1803において、反転部1613は、ステップS1801において取得した動画像に対して、左右反転処理を行う。
ステップS1804において、デコード部1614は、反転後の動画像をデコード処理することで、静止画像群を抽出する。
ステップS1805において、第1分割部1615は、静止画像カウンタnに1を代入する。
ステップS1806において、第1分割部1615は、n番目の静止画像に対して、第1分割処理を行う。なお、第1分割処理のフローチャートの詳細は、後述する。
ステップS1807において、第1分割部1615は、全ての静止画像について第1分割処理を行ったか否かを判定する。ステップS1807において、第1分割処理を行っていない静止画像があると判定した場合には(ステップS1807においてNoの場合には)、ステップS1808に進む。ステップS1808において、第1分割部1615は、静止画像カウンタnをインクリメントした後、ステップS1806に戻る。
一方、ステップS1807において、全ての静止画像について第1分割処理を行ったと判定した場合には、ステップS1809に進む。
ステップS1809において、第1分割部1615は、各静止画像について生成した複数の分割静止画像を、同じ窓ガラスに対応する分割静止画像ごとに分けることで、窓ガラス数分の分割静止画像群を生成し、画像情報管理部376に格納する。また、第1分割部1615は、生成した分割静止画像群ごとに分割静止画像群IDを付し、窓IDと対応付けて画像情報600に格納する。
ステップS1810において、補正部1616は、分割静止画像群カウンタmに1を代入する。
ステップS1811において、補正部1616は、ステップS1809において生成された分割静止画像群のうち、m番目の分割静止画像群を、対応する補正パラメータを用いて補正する。
ステップS1812において、第2分割部1617は、補正後のm番目の分割静止画像群について、第2分割処理を行う。
ステップS1813において、第2分割部1617は、ステップS1809において生成された全ての分割静止画像群について、補正処理及び第2分割処理を行ったか否かを判定する。
ステップS1813において、補正処理及び第2分割処理を行っていない分割静止画像群があると判定した場合には(ステップS1813においてNoの場合には)、ステップS1814に進む。
ステップS1814において、補正部1616は、分割静止画像群カウンタmをインクリメントし、ステップS1811に戻る。
一方、ステップS1813において、全ての分割静止画像群について、補正処理及び第2分割処理を行ったと判定した場合には(ステップS1813においてYesの場合には)、ステップS1815に進む。
ステップS1815において、エンコード部1618は、第2分割処理された分割静止画像群を、プロジェクタ単位でエンコード処理することで、プロジェクタの数分の複数の投影用動画像(コンテンツ)を生成する。また、エンコード部1618は、生成した複数の投影用動画像(コンテンツ)について、生成日時を画像情報600に格納する。
ステップS1816において、送信部1619は、生成された複数の投影用動画像を、対応するプロジェクタにそれぞれ送信する。
(4)第1分割処理の詳細
次に、第1分割処理(ステップS1806)の詳細について図19及び図20を用いて説明する。図19は、第1分割処理の流れを示すフローチャートである。また、図20は、第1分割処理の一例を示す図である。
ステップS1901において、第1分割部1615は、n番目の静止画像を読み出す。図20において、静止画像2000は、第1分割部1615により読み出されたn番目の静止画像であるとする。
ステップS1902において、第1分割部1615は、フロアカウンタfに"2"を代入する。
ステップS1903において、第1分割部1615は、1フロアあたりの窓ガラス数をカウントする窓カウンタgに"1"を代入する。
ステップS1904において、第1分割部1615は、サイネージ対象情報500より、窓ID="Wf0g"の"位置"、"横サイズ"、"縦サイズ"を読み出す。ここでは、fに"2"が代入され、gに"1"が代入されているため、窓ID="W201"の位置((0,0))、横サイズ(x12)、縦サイズ(y12)が読み出される。
ステップS1905において、第1分割部1615は、ステップS1904において読み出した位置、横サイズ、縦サイズを、静止画像2000と所定領域510との対比に応じて、静止画像2000上の画素に変換する。
図20に示すように、本実施形態において、静止画像2000は、横4000画素、縦8000画素で構成されているものとする。この場合、位置="(0,0)"に対応する静止画像2000上の画素は、位置="(0,0)"の画素となる。
また、横サイズ(x12)に対応する静止画像2000上の画素は、(x12/x52)×4000により算出される画素となる。更に、縦サイズ(y12)に対応する静止画像2000上の画素は、(y12/y62)×8000により算出される画素となる。
ステップS1906において、第1分割部1615は、ステップS1905において算出された画素に基づいて特定される矩形領域2001を、静止画像2000より切り出し、分割静止画像を生成する。
ステップS1907において、第1分割部1615は、fフロアの全ての窓ガラスについて、第1分割処理を行ったか否かを判定する。ステップS1907において、第1分割処理を行っていない窓ガラスがあると判定した場合には(ステップS1907においてNoの場合には)、ステップS1908に進む。
ステップS1908において、第1分割部1615は、窓カウンタgをインクリメントした後、ステップS1904に戻る。これにより、gには"2"が代入されることになる。
ステップS1904において、第1分割部1615は、サイネージ対象情報500より、窓ID="W202"の位置((x21,0))、横サイズ(x22−x21)、縦サイズ(y12)を読み出す。
ステップS1905において、第1分割部1615は、ステップS1904において読み出した位置、横サイズ、縦サイズを静止画像2000上の画素に変換する。
図20に示すように、位置((x21,0))に対応する静止画像2000上の画素は、(x21/x52)×4000により算出される画素となる。また、横サイズ(x22−x21)に対応する静止画像2000上の画素は、(x22/x52)×4000により算出される画素となる。更に、縦サイズ(y12)に対応する静止画像2000上の画素は、(y12/y62)×8000により算出される画素となる。
ステップS1906において、第1分割部1615は、ステップS1905において算出された画素に基づいて特定される矩形領域2002を、静止画像2000より切り出し、分割静止画像を生成する。
ステップS1907において、第1分割部1615は、fフロアの全ての窓ガラスについて、第1分割処理を行ったか否かを判定する。ステップS1907において、第1分割処理を行っていない窓ガラスがあると判定した場合には(ステップS1907においてNoの場合には)、ステップS1908に進む。以降、ステップS1906において、矩形領域2005が切り出されるまで、ステップS1904〜S1906の処理が繰り返される。
ステップS1907において、fフロアの全ての窓ガラスについて第1分割処理を行ったと判定した場合には(ステップS1907においてYesの場合には)、ステップS1909に進む。
ステップS1909において、第1分割部1615は、全てのフロアについて第1分割処理を行ったか否かを判定する。ステップS1909において、第1分割処理を行っていないフロアがあると判定した場合には(ステップS1909においてNoの場合には)、ステップS1910に進む。
ステップS1910において、第1分割部1615は、フロアカウンタfをインクリメントした後、ステップS1903に戻る。以降、フロアカウンタf=7において、矩形領域2030が切り出されるまで、ステップS1904〜S1907の処理が繰り返される。
ステップS1909において、全てのフロアについて第1分割処理を行ったと判定した場合には(ステップS1909においてYesの場合には)、図18のステップS1807に戻る。
<9.サイネージ制御処理の詳細>
次に、画像投影システム300におけるサイネージ制御処理(ステップS803)の詳細について説明する。
(1)サイネージ制御部の機能構成
はじめに、サイネージ制御処理を実行する、情報処理装置370のサイネージ制御部373の機能構成について説明する。図21は、情報処理装置のサイネージ制御部の機能構成を示す図である。
図21に示すようにサイネージ制御部373は、スケジュール管理部2101、同期部2102、開始制御部2103、終了制御部2104を有する。
スケジュール管理部2101は、スケジュール及びコンテンツ(投影用動画像群)を操作する操作手段として機能し、スケジュール管理処理を実行する。
具体的には、スケジュール管理部2101は、スケジュール情報を生成し、スケジュール情報管理部377に格納する。また、スケジュール管理部2101は、生成したスケジュール情報の編集及び削除を行う。
また、スケジュール管理部2101は、プロジェクタ310_1a〜310_30bに対して、選択されたコンテンツにより特定される投影用動画像群に含まれる各投影用動画像についての削除指示を送信する。更に、スケジュール管理部2101は、削除指示した各投影用動画像がプロジェクタ310_1a〜310_30bにより削除された場合に、削除指示した各投影用動画像に関する情報について、画像情報600を書き換える。
同期部2102は、時刻情報を出力する。また、同期部2102は、プロジェクタ310_1a〜310_30bと、情報処理装置370との間の時刻を同期させる。具体的には、時刻サーバ360より時刻情報を受信し、出力する時刻情報を修正したうえで、プロジェクタ310_1a〜310_30bに対して、修正した時刻情報を送信する。プロジェクタ310_1a〜310_30bは、同期部2102より時刻情報を受信すると、内部で管理している時刻情報を修正する。これにより、同期部2102は、プロジェクタ310_1a〜310_30bと、情報処理装置370との間で、正確な時刻情報に基づいて時刻を同期させることができる。
開始制御部2103は、スケジュール情報管理部377に格納されたスケジュール情報を読み出し、投影開始時刻を識別する。また、開始制御部2103は、識別した投影開始時刻に基づいて、各サイネージ装置に対して、投影開始時の動作の指示を送信する。
終了制御部2104は、スケジュール情報管理部377に格納されたスケジュール情報を読み出し、投影終了時刻を識別する。また、終了制御部2104は、識別した投影終了時刻に基づいて、各サイネージ装置に対して、投影終了時の動作の指示を送信する。
(2)サイネージ制御処理の流れ
次に、サイネージ制御部373によるサイネージ制御処理(ステップS803)の流れについて説明する。図22は、サイネージ制御処理の流れを示すフローチャートである。画像処理部372による画像処理が完了することで、図22に示すサイネージ制御処理が実行可能となる。
ステップS2201において、スケジュール管理部2101は、スケジュール情報の生成、編集及び削除、コンテンツの削除等を含むスケジュール管理処理を行う。なお、スケジュール管理処理(ステップS2201)の詳細は後述する。
ステップS2202において、開始制御部2103は、スケジュール管理処理が行われることでスケジュール情報管理部377に格納されたスケジュール情報(例えば、スケジュール情報710)を読み出し、投影開始時刻を識別する。
ステップS2203において、開始制御部2103は、識別した投影開始時刻に応じたタイミングで、プロジェクタ310_1a〜310_30bに対して、ランプON指示を送信する。これにより、プロジェクタ310_1a〜310_30bそれぞれのランプがON状態となる。
ステップS2204において、同期部2102は、時刻サーバ360より時刻情報を受信し、情報処理装置370内で管理している時刻情報を修正するとともに、プロジェクタ310_1a〜310_30bに対して、修正した時刻情報を送信する。
ステップS2205において、開始制御部2103は、識別した投影開始時刻に応じたタイミングで、プロジェクタ310_1a〜310_30bに対して、スケジュール情報において指定されたコンテンツの各投影用動画像を特定して、投影開始指示を送信する。これにより、プロジェクタ310_1a〜310_30bでは、特定された投影用動画像の投影を開始するための処理が行われる。
ステップS2206において、開始制御部2103は、識別した投影開始時刻に応じたタイミングで、電飾装置140_1〜140_6に対して、電飾OFF指示を送信する。これにより、電飾装置140_1〜140_6がOFF状態となる。
ステップS2207において、開始制御部2103は、識別した投影開始時刻に応じたタイミングで、電動スクリーン330_1〜330_30に対して、スクリーンON指示を送信する。これにより、電動スクリーン330_1〜330_30それぞれがON状態となり、光透過面が半透明の状態になる。以上の処理により、1のスケジュール情報に応じたデジタルサイネージが開始される。
投影が開始されると、ステップS2208において、終了制御部2104は、スケジュール情報管理部377に格納されたスケジュール情報(例えば、スケジュール情報710)を読み出す。また、終了制御部2104は、読み出したスケジュール情報に基づいて投影終了時刻を識別し、現在時刻が投影終了時刻に近づいたか否かを判定する。
ステップS2208において、投影終了時刻に近づいていないと判定した場合には(ステップS2208においてNoの場合には)、投影終了時刻に近づいたと判定するまで待機する。
一方、ステップS2208において、投影終了時刻に近づいたと判定した場合には(ステップS2208においてYesの場合には)、ステップS2209に進む。
ステップS2209において、終了制御部2104は、識別した投影終了時刻に応じたタイミングで、プロジェクタ310_1a〜310_30bに対して、投影終了指示を送信する。これにより、プロジェクタ310_1a〜310_30bでは、投影用動画像の投影を終了する。
ステップS2210において、終了制御部2104は、識別した投影終了時刻に応じたタイミングで、電動スクリーン330_1〜330_30に対して、スクリーンOFF指示を送信する。これにより、電動スクリーン330_1〜330_30それぞれがOFF状態となり、光透過面が透明の状態になる。
ステップS2211において、終了制御部2104は、識別した投影終了時刻に応じたタイミングで、電飾装置140_1〜140_6に対して、電飾ON指示を送信する。これにより、電飾装置140_1〜140_6がON状態となる。
ステップS2212において、終了制御部2104は、識別した投影終了時刻に応じたタイミングで、プロジェクタ310_1a〜310_30bに対して、ランプOFF指示を送信する。これにより、プロジェクタ310_1a〜310_30bそれぞれのランプがOFF状態となる。以上の処理により、1のスケジュール情報に応じたデジタルサイネージが終了する。
ステップS2213において、開始制御部2103は、スケジュール情報管理部377に格納されている全てのスケジュール情報について、ステップS2202からステップS2212の処理を実行したか否かを判定する。ステップS2213において、ステップS2202からステップS2212の処理を実行していないスケジュール情報があると判定した場合には(ステップS2213においてNoの場合には)、ステップS2202に戻る。
一方、ステップS2213において全てのスケジュール情報について、ステップS2202からステップS2212の処理を実行したと判定した場合には(ステップS2213においてYesの場合には)、サイネージ制御処理を終了する。
(3)スケジュール管理処理の詳細
次に、スケジュール管理処理(ステップS2201)の詳細について、図24及び図25を参照しながら、図23を用いて説明する。なお、ここでは、スケジュール情報管理部377に格納されるスケジュール情報のうち、主に、プロジェクタ310_1a〜310_30bによる投影に関するスケジュール(投影スケジュール)についてのスケジュール管理処理について説明する。
図23は、スケジュール管理処理の流れを示すフローチャートである。投影スケジュールについて、操作者1000によりスケジュール管理部2101の起動指示が入力されることで、図23に示すフローチャートが実行される。
ステップS2301において、スケジュール管理部2101は、操作者1000により、投影スケジュールについて、スケジュール管理部2101の起動停止指示が入力されたか否かを判定する。ステップS2301において起動停止指示が入力されていないと判定した場合には(ステップS2301においてNoの場合には)、ステップS2302に進む。
ステップS2302において、スケジュール管理部2101は、スケジュール情報管理部377に格納されたスケジュール情報710〜730等にそれぞれ含まれる投影スケジュールを識別するための識別子(例えば、ファイル名)を読み出す。
ステップS2303において、スケジュール管理部2101は、表示部405に、投影スケジュール画面を表示し、読み出した投影スケジュールのファイル名を一覧表示する。
ステップS2304において、スケジュール管理部2101は、操作者1000により新規登録指示が入力されたか否かを判定する。ステップS2304において新規登録指示が入力されたと判定された場合には(ステップS2304においてYesの場合には)、ステップS2305に進む。
ステップS2305において、スケジュール管理部2101は、表示部405に新規登録画面を表示する。図24は、投影スケジュール画面及び新規登録画面の一例を示す図である。
図24(a)に示すように、投影スケジュール画面2400には、新規登録ボタン2401及び投影スケジュール一覧2402が含まれる。図24(a)の例は、スケジュール情報管理部377にスケジュール情報710〜730等が格納される前の状態を示している。このため、投影スケジュール一覧2402には、何も表示されない。
投影スケジュール画面2400において、操作者1000により、新規登録ボタン2401が押圧されることで、新規登録指示が入力されると、表示部405には、図24(b)に示す新規登録画面2410が表示される。
図24(b)に示すように、新規登録画面2410には、名前入力欄2411、開始時刻及び終了時刻入力欄2412、曜日指定欄2413、コンテンツ表示欄2414が含まれる。
名前入力欄2411には、投影スケジュールのファイル名が入力される。開始時刻及び終了時刻入力欄2412には、プロジェクタ310_1a〜310_30bが各投影用動画像の投影を開始する投影開始時刻と、各投影用動画像の投影を終了する投影終了時刻とが入力される。曜日指定欄2413には、各投影用動画像を投影する曜日が指定される。コンテンツ表示欄2414には、プロジェクタ310_1a〜310_30bにより投影される各投影用動画像を特定するコンテンツのコンテンツ名が表示される。
新規登録画面2410が表示された状態で、操作者1000は、名前入力欄2411、開始時刻及び終了時刻入力欄2412、曜日指定欄2413、コンテンツ表示欄2414の各欄への入力を行う。
ステップS2306において、スケジュール管理部2101は、操作者1000によるこれらの入力を受け付ける新規登録処理を行う。
その後、新規登録画面2410において、操作者1000が登録ボタン2415を押圧することで、新規登録処理が完了する。これにより、スケジュール管理部2101は、スケジュール情報管理部377のスケジュール情報に、新たに生成した投影スケジュールを格納し、ステップS2301に戻る。これにより、投影するコンテンツや投影する時間帯等が投影予定として指定された投影スケジュールが格納される。なお、新規登録画面2410において、操作者1000が戻るボタン2416を押圧した場合、スケジュール管理部2101は、投影スケジュールを格納することなく、ステップS2301に戻る。
一方、ステップS2304において新規登録指示が入力されなかったと判定された場合には(ステップS2304においてNoの場合には)、ステップS2307に進む。
ステップS2307において、スケジュール管理部2101は、操作者1000により投影スケジュールが指定され、かつ、指定された投影スケジュールの編集指示が入力されたかを判定する。ステップS2307において、投影スケジュールが指定され、かつ、指定された投影スケジュールの編集指示が入力されたと判定した場合には(ステップS2307においてYesの場合には)、ステップS2308に進む。
ステップS2308において、スケジュール管理部2101は、スケジュール編集画面を表示する。図25は、投影スケジュール画面及びスケジュール編集画面の一例を示す図である。
図25(a)に示すように、投影スケジュール画面2400の投影スケジュール一覧2402には、スケジュール情報管理部377に格納されたスケジュール情報710〜730等に含まれる投影スケジュールのファイル名が表示される。図25(a)の例は、投影スケジュールのファイル名として、"スケジュール_C100"〜"スケジュール_C103"が表示された様子を示している。
投影スケジュール一覧2402から、操作者1000が1の投影スケジュールのファイル名を指定し、編集ボタン2502を押圧すると、スケジュール管理部2101では、投影スケジュールの編集指示が入力されたと判定する。ここでは、図25(a)に示すように、投影スケジュール一覧2402において、操作者1000がファイル名="スケジュール_C102"を指定し、編集ボタン2502を押圧したとする。これにより、表示部405には、図25(b)に示すスケジュール編集画面2510が表示される。
図25(b)に示すように、スケジュール編集画面2510には、名前入力欄2411、開始時刻及び終了時刻入力欄2412、曜日指定欄2413、コンテンツ表示欄2414が含まれる。
名前入力欄2411には、指定された投影スケジュールのファイル名("スケジュール_C102")が表示される。開始時刻及び終了時刻入力欄2412には、指定された投影スケジュールの投影開始時刻及び投影終了時刻が表示される。曜日指定欄2413には、指定された投影スケジュールにおいて指定された曜日が表示される。コンテンツ表示欄2414には、指定された投影スケジュールにおいて投影予定のコンテンツのコンテンツ名(識別子)が表示される。
ステップS2309において、操作者1000は、表示されたスケジュール編集画面2510の各欄を編集することで、スケジュール編集処理を行う。
その後、操作者1000が登録ボタン2415を押圧することで、スケジュール編集処理が完了する。これにより、スケジュール管理部2101は、スケジュール情報管理部377のスケジュール情報に、編集後の投影スケジュールを格納し、ステップS2301に戻る。なお、スケジュール編集画面2510において、操作者1000が戻るボタン2416を押圧した場合、スケジュール管理部2101は、編集後の投影スケジュールを格納することなく、ステップS2301に戻る。
一方、ステップS2307において指定された投影スケジュールの編集指示が入力されなかったと判定した場合には(ステップS2307においてNoの場合には)、ステップS2310に進む。
ステップS2310において、スケジュール管理部2101は、操作者1000により、投影スケジュールが指定され、かつ、指定された投影スケジュールの削除指示が入力されたかを判定する。ステップS2310において、投影スケジュールが指定され、かつ、指定された投影スケジュールの削除指示が入力されたと判定した場合には(ステップS2310においてYesの場合には)、ステップS2311に進む。
ステップS2311において、スケジュール管理部2101は、スケジュール削除処理を行い、指定された投影スケジュールを、スケジュール情報管理部377のスケジュール情報から削除した後、ステップS2301に戻る。なお、スケジュール削除処理(ステップS2311)の詳細は、後述する。
一方、ステップS2310において、指定された投影スケジュールの削除指示が入力されなかったと判定した場合には(ステップS2310においてNoの場合には)、ステップS2312に進む。
ステップS2312において、スケジュール管理部2101は、コンテンツの削除指示が入力されたか否かを判定する。ステップS2312において、コンテンツの削除指示が入力されたと判定した場合には(ステップS2312においてYesの場合には)、ステップS2313に進む。
ステップS2313において、スケジュール管理部2101は、コンテンツ削除処理を行い、選択されたコンテンツ名のコンテンツにより特定される投影用動画像を削除するよう、プロジェクタ310_1a〜310_30bに対して削除指示を送信する。また、スケジュール管理部2101は、投影用動画像の削除に伴って、画像情報600を書き換える。ステップS2313のコンテンツ削除処理が完了すると、ステップS2301に戻る。なお、コンテンツ削除処理(ステップS2313)の詳細は後述する。
一方、ステップS2312において、コンテンツの削除指示が入力されなかったと判定した場合には(ステップS2312においてNoの場合には)、直接、ステップS2301に戻る。
以降、ステップS2301において起動停止指示が入力されたと判定されるまで、ステップS2302〜S2313の処理を繰り返す。そして、ステップS2301において、操作者1000により、スケジュール管理部2101に対する起動停止指示が入力されたと判定した場合には、スケジュール管理処理を終了する。
(4)スケジュール削除処理の詳細
次に、スケジュール削除処理(ステップS2311)の詳細について、図26及び図27を用いて説明する。図26は、スケジュール削除処理の流れを示すフローチャートである。また、図27は、投影スケジュール画面においてスケジュール削除処理を行った様子を示す図である。
図27(a)に示すように、投影スケジュール画面2400の投影スケジュール一覧2402には、スケジュール情報管理部377に格納されたスケジュール情報710〜730等に含まれる投影スケジュールのファイル名が表示される。図27(a)の例は、投影スケジュールのファイル名として、"スケジュール_C100"〜"スケジュール_C103"が表示された様子を示している。
投影スケジュール一覧2402から、操作者1000が1の投影スケジュールのファイル名を指定し、削除ボタン2701を押圧すると、スケジュール管理部2101では、指定された投影スケジュールの削除指示が入力されたと判定する。ここでは、投影スケジュール一覧2402において、操作者1000がファイル名="スケジュール_C103"を指定した後、削除ボタン2701を押圧したとする。
これにより、スケジュール管理部2101では、図26のスケジュール削除処理を実行する。具体的には、ステップS2601において、スケジュール管理部2101は、指定された投影スケジュールが、現在、実行中であるか否かを判定する。スケジュール管理部2101は、現在時刻が、投影スケジュールの投影開始時刻と投影終了時刻との間の時間帯であるか否かに基づいて、投影スケジュール("スケジュール_C103")が実行中であるか否かを判定する。
図26のステップS2601において、実行中であると判定した場合には(ステップSS2601においてYesの場合には)、現在時刻が、投影終了時刻を過ぎるまで待機する。一方、ステップS2601において、実行中でないと判定した場合には(ステップS2601においてNoの場合には)、ステップS2602に進む。
ステップS2602において、スケジュール管理部2101は、指定された投影スケジュール("スケジュール_C103")を、スケジュール情報管理部377のスケジュール情報から削除した後、図23のステップS2301に戻る。このように、投影スケジュールが実行中でないことを条件に投影スケジュールを削除することで、サイネージ制御処理の誤動作を回避することができる。
図27(b)は、図26のスケジュール削除処理が実行され、指定された投影スケジュールが削除された後の投影スケジュール画面2400を示している。図27(b)に示すように、投影スケジュール画面2400の投影スケジュール一覧2402からは、ファイル名="スケジュール_C103"が削除される。
(5)コンテンツ削除処理の詳細
次に、コンテンツ削除処理(ステップS2313)の詳細について、図29を参照しながら図28を用いて説明する。図28は、コンテンツ削除処理の流れを示すフローチャートである。
図28のステップS2801において、スケジュール管理部2101は、画像情報管理部376に格納されているコンテンツのうち、投影スケジュールにおいて、投影予定のコンテンツとして指定されていないコンテンツを検索する。なお、ここでは、画像情報管理部376に、既に"コンテンツ100"〜"コンテンツ105"が格納されているものとする(図6参照)。
図7に示したように、"コンテンツ100"は、スケジュール情報710〜730それぞれの投影スケジュールにおいて、投影予定のコンテンツとして指定されている。また、"コンテンツ101"は、スケジュール情報720の投影スケジュールにおいて、投影予定のコンテンツとして指定されている。更に、"コンテンツ102"は、スケジュール情報730の投影スケジュールにおいて、投影予定のコンテンツとして指定されている。
一方、"コンテンツ103"〜"コンテンツ105"は、スケジュール情報710〜730のいずれの投影スケジュールにおいても、投影予定のコンテンツとして指定されていない。したがって、スケジュール管理部2101は、未使用コンテンツのコンテンツ名として、コンテンツ名="コンテンツ103"〜"コンテンツ105"を得る。
ステップS2802において、スケジュール管理部2101は、未使用コンテンツ一覧画面を表示し、ステップS2801において得た未使用コンテンツのコンテンツ名を選択可能に表示する。
図29は、投影スケジュール画面及び未使用コンテンツ一覧画面の一例を示す図である。図29(a)に示す投影スケジュール画面2400において、未使用コンテンツ一覧ボタン2901が押圧されることで、スケジュール管理部2101は、表示部405に、未使用コンテンツ一覧画面を表示する。
図29(b)に示すように、未使用コンテンツ一覧画面2900は、未使用コンテンツ一覧2902を含む。図29(b)の例は、未使用コンテンツとして、コンテンツ名="コンテンツ103"、"コンテンツ104"、"コンテンツ105"が表示された様子を示している。
未使用コンテンツ一覧画面2900には、削除ボタン2903と、戻るボタン2904とが含まれる。操作者1000は、未使用コンテンツ一覧2902に表示された未使用コンテンツのうちのいずれかのコンテンツのコンテンツ名を選択して、削除ボタン2903を押圧することで、当該コンテンツについての削除指示を入力する。なお、戻るボタン2904が押圧された場合、スケジュール管理部2101は、削除指示が入力されなかったと判定し、図29(a)の投影スケジュール画面2400に戻る。
ステップS2803において、スケジュール管理部2101は、操作者1000によりコンテンツのコンテンツ名が選択され、かつ、削除指示が入力されたかを判定する。戻るボタン2904が押圧された場合、ステップS2803では、削除指示が入力されなかったと判定し(ステップS2803においてNo)、図23のステップS2301に戻る。
一方、いずれかのコンテンツのコンテンツ名が選択され、かつ、削除ボタン2903が押圧された場合、ステップS2803では、選択されたコンテンツ名のコンテンツについての削除指示が入力された(ステップS2803においてYes)と判定する。この場合、スケジュール管理部2101は、ステップS2804に進む。
ステップS2804において、スケジュール管理部2101は、選択されたコンテンツ名に基づいて投影用動画像群を特定し、特定した投影用動画像群に含まれる各投影用動画像についての削除指示を、プロジェクタ310_1a〜310_30bに送信する。
これにより、プロジェクタ310_1a〜310_30bでは、接続された外部メモリ320_1a〜320_30bから、削除指示された投影用動画像を削除する。投影用動画像の削除が完了すると、プロジェクタ310_1a〜310_30bでは、投影用動画像の削除が完了したことを、情報処理装置370に通知する。
ステップS2805において、スケジュール管理部2101は、プロジェクタ310_1a〜310_30bから、投影用動画像の削除が完了したことを示す通知を受信したか否かを判定する。
ステップS2805において投影用動画像の削除が完了したことを示す通知を受信しなかったと判定した場合には(ステップS2805においてNoの場合には)、図23のステップS2301に戻る。
一方、ステップS2805において投影用動画像の削除が完了したことを示す通知を受信したと判定した場合には(ステップS2805においてYesの場合には)、ステップS2806に進む。
ステップS2806において、スケジュール管理部2101は、削除指示した各投影用動画像に関する情報を、画像情報600から削除する。
ステップS2807において、スケジュール管理部2101は、画像情報管理部376から、削除指示した各投影用動画像を生成した際に生成された各分割静止画像群を削除する。
このように、スケジュール管理部2101では、投影スケジュールにおいて投影予定のコンテンツとして指定されているコンテンツについては、未使用コンテンツ一覧画面2900に、コンテンツのコンテンツ名を表示しない(非表示とする)。これにより、未使用コンテンツ一覧画面2900において、操作者1000が誤って削除ボタン2903を押圧した場合であっても、投影予定のコンテンツが削除されるといった事態を回避することができる。
一方で、操作者1000が、未使用コンテンツ一覧画面2900において、表示されたコンテンツのコンテンツ名を選択して削除ボタン2903を押圧すると、スケジュール管理部2101は、選択されたコンテンツにより特定される投影用動画像群を削除する。つまり、操作者1000は、プロジェクタ310_1a〜310_30bそれぞれに、削除指示を送信する操作を行うことなく、外部メモリ320_1a〜320_30bから、投影用動画像を削除することができる。この結果、生成される投影用動画像の数が膨大であっても、簡単な操作で各投影用動画像を削除することが可能となる。
<10.まとめ>
以上の説明から明らかなように、本実施形態に係る画像投影システム300では、
・広告主より提供される動画像を反転処理する。また、建物の外面の所定領域に含まれる複数の窓ガラスの位置及び大きさに基づいて、該反転処理した動画像より抽出される各フレームの静止画像を分割し、それぞれの静止画像から複数の分割静止画像を生成する。
・同じ窓ガラスに対応する各フレームの分割静止画像を用いて、窓ガラス数分の分割静止画像群を生成し、画像情報管理部に格納する。
・建物の外面の所定領域に含まれる複数の窓ガラスそれぞれに対応する位置に配置されたプロジェクタを用いて校正処理を行い、校正処理の結果に基づいて生成した補正パラメータを用いて、分割静止画像群を補正する。
・補正した分割静止画像群を、更に、1つの窓ガラスに対応する位置に配置されたプロジェクタの数に応じて分割し、エンコード処理することで、プロジェクタ単位の投影用動画像群を生成する。
・生成した投影用動画像群の各投影用動画像を、対応するプロジェクタを介して、スケジュール情報に応じたタイミングで複数の窓ガラスに対応する電動スクリーンそれぞれに投影する。
これにより、複数の光透過面を組み合わせたデジタルサイネージを実現することが可能になる。
また、本実施形態に係る画像投影システム300では、
・操作者がコンテンツを選択して削除ボタンを押圧した場合、選択されたコンテンツのコンテンツにより特定される各投影用動画像を削除するための削除指示を、各プロジェクタに送信する。
・コンテンツを選択して削除ボタンを押圧することが可能な画面を表示するにあたり、投影スケジュールを参照する。そして、投影予定のコンテンツとして指定されているコンテンツについては、コンテンツ名を非表示とし、投影予定のコンテンツとして、いずれの投影スケジュールにおいても指定されていないコンテンツについて、コンテンツ名を表示する。
これにより、投影用動画像の削除操作について高い操作性が維持できる。また、投影予定のコンテンツとして指定されているコンテンツについては、画面に表示されないため、誤操作により、削除されるといった事態を回避することが可能になる。
つまり、本実施形態に係る画像投影システム300によれば、複数の光透過面を組み合わせたデジタルサイネージにおいて、誤操作を防止することが可能になる。
[その他の実施形態]
上記第1の実施形態では、スケジュール管理処理において、投影スケジュールの新規登録、編集、削除の各処理の流れ及び各処理実行時の画面について説明した。しかしながら、スクリーンスケジュールの新規登録、編集、削除の各処理の流れ及び各処理実行時の画面についても同様である。また、電飾スケジュールの新規登録、編集、削除の各処理の流れ及び各処理実行時の画面についても同様である。
また、上記第1の実施形態では、投影スケジュールにて投影予定のコンテンツとして指定されているコンテンツのコンテンツ名を、未使用コンテンツ一覧2902において非表示とすることで、当該コンテンツについての削除指示の入力を制限した。
しかしながら、当該コンテンツについての削除指示の入力の制限方法はこれに限定されない。例えば、投影スケジュールにて投影予定のコンテンツとして指定されているコンテンツのコンテンツ名を、未使用コンテンツ一覧2902において、選択できないように表示してもよい。あるいは、投影スケジュールにて投影予定のコンテンツとして指定されているコンテンツのコンテンツ名が選択された場合には、削除ボタン2903の押圧を受け付けないように構成してもよい。つまり、投影スケジュールにて投影予定のコンテンツとして指定されていないコンテンツについての削除指示の入力を可能にし、投影スケジュールにて投影予定のコンテンツとして指定されているコンテンツについての削除指示の入力が制限される構成であればよい。
また、上記第1の実施形態では、情報処理装置370が、校正部371、画像処理部372、サイネージ制御部373を有するものとして説明したが、これらの機能の一部は、他のサイネージ装置において実現してもよい。
また、上記第1の実施形態では、建物110の外面の所定領域に取り付けられた窓ガラスを投影対象として説明したが、投影対象は、窓ガラスに限定されず、他の光透過面であってもよい。また、光透過面は、建物110の外面の所定領域に取り付けられたものに限定されず、建物110内部の所定領域に取り付けられた光透過面であってもよいし、また、建物以外の物に取り付けられた光透過面であってもよい。
また、上記第1の実施形態では、サイネージ装置が、プロジェクタ(投影装置)、電動スクリーン、電飾装置を指すものとして説明したが、サイネージ装置はこれに限定されない。例えば、建物110の内部の照明装置や、建物110の外部から建物110の壁面や看板等を照らす照明装置、建物110に設置されたオブジェ、看板等の、既に建物110に設置されている装置が、サイネージ装置に含まれていてもよい。
なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせなど、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。
110 :建物
120 :窓ガラス群
130 :投影用動画像群
310_1a〜310_30b :プロジェクタ
320_1a〜320_30b :外部メモリ
330_1〜330_30 :電動スクリーン
340 :制御装置
360 :時刻サーバ
370 :情報処理装置
371 :校正部
372 :画像処理部
373 :サイネージ制御部
375 :サイネージ対象情報管理部
376 :画像情報管理部
377 :スケジュール情報管理部
500 :サイネージ対象情報
510 :所定領域
600 :画像情報
710〜730 :スケジュール情報
2101 :スケジュール管理部
2102 :同期部
2103 :開始制御部
2104 :終了制御部
2400 :投影スケジュール画面
2402 :投影スケジュール一覧
2410 :新規登録画面
2510 :スケジュール編集画面
2701 :削除ボタン
2900 :未使用コンテンツ一覧画面
2902 :未使用コンテンツ一覧
2903 :削除ボタン
特開2015−26992号公報 特開2016−85435号公報

Claims (10)

  1. 複数の投影装置と情報処理装置とがネットワークを介して通信可能に接続された画像投影システムであって、
    前記情報処置装置は、
    投影用動画像の生成の際に用いられる補正パラメータを算出する校正処理手段と、
    建物の外面の所定領域に含まれる窓ガラス群の各窓ガラスの位置、大きさ、前記補正パラメータ及び動画像に基づき、投影用動画像を生成する画像処理手段と、
    複数の面それぞれに対応する投影装置を介して、前記画像処理手段で生成された各投影用動画像を、前記複数の面に対応する投影面それぞれに、投影予定に基づいて投影するよう制御する制御手段と、を有し、
    前記複数の投影装置は、
    前記情報処理装置からの前記投影予定に基づいて、外部メモリに格納された投影用動画像を読み出して投影する投影手段を有し、
    前記制御手段は、
    前記各投影用動画像を前記複数の面に対応する投影面それぞれに投影する時間帯が、前記投影予定として指定されたスケジュール情報を生成し、当該スケジュール情報において指定された時間帯に基づいて、前記各投影用動画像を、前記複数の面に対応する投影面それぞれに投影するよう制御することを特徴とする、
    画像投影システム。
  2. 前記校正処理手段は、
    投影対象となる投影面の大きさに応じた投影範囲に、校正パターン画像を用いて校正処理を実行し、前記投影装置によりそれぞれ投影される前記投影用動画像の生成の際に用いられる補正パラメータを算出する請求項1に記載の画像投影システム。
  3. 前記制御手段は、更に、
    前記各投影用動画像についての所定の操作を、前記投影予定に基づいて制限する操作手段を有する請求項1又は2に記載の画像投影システム。
  4. 前記操作手段は、
    前記各投影用動画像が、前記投影予定の投影用動画像として指定されていない場合、該各投影用動画像についての削除指示の入力を可能にし、前記各投影用動画像が、前記投影予定の投影用動画像として指定されている場合、該各投影用動画像についての削除指示の入力を制限することを特徴とする請求項に記載の画像投影システム。
  5. 前記操作手段は、
    前記各投影用動画像が、前記投影予定の投影用動画像として指定されていない場合、前記削除指示を入力する画面において、前記各投影用動画像を特定するための識別子を選択可能に表示し、
    前記各投影用動画像が、前記投影予定の投影用動画像として指定されている場合、前記削除指示を入力する画面において、前記各投影用動画像を特定するための識別子を非表示にすることを特徴とする請求項に記載の画像投影システム。
  6. 前記各投影用動画像それぞれを投影する複数の前記投影装置は、該各投影用動画像それぞれを格納し、
    前記操作手段は、
    前記各投影用動画像についての削除指示が入力された場合、該各投影用動画像それぞれを投影する前記複数の投影装置に、該各投影用動画像それぞれについての削除指示を送信することを特徴とする請求項に記載の画像投影システム。
  7. 前記操作手段は、
    前記スケジュール情報の削除指示が入力された場合、現在時刻が、該スケジュール情報において指定された時間帯であるか否かを判定し、現在時刻が、該スケジュール情報において指定された時間帯でないと判定した場合に、前記スケジュール情報を削除することを特徴とする請求項に記載の画像投影システム。
  8. 投影用動画像の生成の際に用いられる補正パラメータを算出する校正処理手段と、
    建物の外面の所定領域に含まれる窓ガラス群の各窓ガラスの位置、大きさ、前記補正パラメータ及び動画像に基づき、投影用動画像を生成する画像処理手段と、
    複数の面それぞれに対応する投影装置を介して、前記画像処理手段で生成された各投影用動画像を、前記複数の面に対応する投影面それぞれに、投影予定に基づいて投影するよう制御する制御手段と、を有し、
    前記制御手段は、
    前記各投影用動画像を前記複数の面に対応する投影面それぞれに投影する時間帯が、前記投影予定として指定されたスケジュール情報を生成し、当該スケジュール情報において指定された時間帯に基づいて、前記各投影用動画像を、前記複数の面に対応する投影面それぞれに投影するよう制御することを特徴とする、
    情報処理装置。
  9. 投影用動画像の生成の際に用いられる補正パラメータを算出する校正処理工程と、
    建物の外面の所定領域に含まれる窓ガラス群の各窓ガラスの位置、大きさ、前記補正パラメータ及び動画像に基づき、投影用動画像を生成する画像処理工程と、
    複数の面それぞれに対応する投影装置を介して、前記画像処理工程で生成された各投影用動画像を、前記複数の面に対応する投影面それぞれに、投影予定に基づいて投影するよう制御する制御工程と、を有し、
    前記制御工程は、
    前記各投影用動画像を前記複数の面に対応する投影面それぞれに投影する時間帯が、前記投影予定として指定されたスケジュール情報を生成し、当該スケジュール情報において指定された時間帯に基づいて、前記各投影用動画像を、前記複数の面に対応する投影面それぞれに投影するよう制御することを特徴とする、
    画像投影方法。
  10. 投影用動画像の生成の際に用いられる補正パラメータを算出する校正処理工程と、
    建物の外面の所定領域に含まれる窓ガラス群の各窓ガラスの位置、大きさ、前記補正パラメータ及び動画像に基づき、投影用動画像を生成する画像処理工程と、
    複数の面それぞれに対応する投影装置を介して、前記画像処理工程で生成された各投影用動画像を、前記複数の面に対応する投影面それぞれに、投影予定に基づいて投影するよう制御する制御工程と、をコンピュータに実行させるためのプログラムであって、
    前記制御工程は、
    前記各投影用動画像を前記複数の面に対応する投影面それぞれに投影する時間帯が、前記投影予定として指定されたスケジュール情報を生成し、当該スケジュール情報において指定された時間帯に基づいて、前記各投影用動画像を、前記複数の面に対応する投影面それぞれに投影するよう制御することを特徴とする、
    プログラム。
JP2016169181A 2016-08-31 2016-08-31 画像投影システム、情報処理装置、画像投影方法及びプログラム Active JP6930076B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016169181A JP6930076B2 (ja) 2016-08-31 2016-08-31 画像投影システム、情報処理装置、画像投影方法及びプログラム
EP17188426.5A EP3300360B1 (en) 2016-08-31 2017-08-29 Image projection system and image projection method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016169181A JP6930076B2 (ja) 2016-08-31 2016-08-31 画像投影システム、情報処理装置、画像投影方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2018036480A JP2018036480A (ja) 2018-03-08
JP6930076B2 true JP6930076B2 (ja) 2021-09-01

Family

ID=61565794

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016169181A Active JP6930076B2 (ja) 2016-08-31 2016-08-31 画像投影システム、情報処理装置、画像投影方法及びプログラム

Country Status (1)

Country Link
JP (1) JP6930076B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020121439A1 (ja) * 2018-12-12 2020-06-18 三菱電機株式会社 案内支援制御装置及び案内支援システム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002149102A (ja) * 2000-11-07 2002-05-24 Nobuyuki Sato 映像による広告システム
JP2002169497A (ja) * 2000-11-30 2002-06-14 Nec Custommax Ltd 広告提供装置および方法、情報記憶媒体、広告供給システムおよび方法
US20060248768A1 (en) * 2005-05-09 2006-11-09 Dell Adam C Systems and methods for providing public space advertising
KR101843337B1 (ko) * 2010-10-28 2018-03-30 삼성전자주식회사 디스플레이 모듈 및 디스플레이 시스템
JP2012145638A (ja) * 2011-01-07 2012-08-02 Toshiba Corp 映像表示装置、映像表示方法
JP2016085435A (ja) * 2014-10-29 2016-05-19 株式会社リコー 画像処理システム
JP6523691B2 (ja) * 2015-01-23 2019-06-05 三菱電機株式会社 デジタルサイネージシステム

Also Published As

Publication number Publication date
JP2018036480A (ja) 2018-03-08

Similar Documents

Publication Publication Date Title
CN103108452B (zh) 一种动态光场数据驱动的场景光照重现方法
CN104063835A (zh) 一种卫星遥感图像实时并行处理系统及处理方法
CN111736489B (zh) 一种分布式舞台灯光仿真系统及方法
CN102835191A (zh) 用于展示客户定义的照明规格并由此评价长久照明系统的装置、方法及系统
JP6930076B2 (ja) 画像投影システム、情報処理装置、画像投影方法及びプログラム
Barki et al. BIM models generation from 2D CAD drawings and 3D scans: an analysis of challenges and opportunities for AEC practitioners
CN105045930A (zh) 一种栅格数据切片生成的方法及系统
Baracchini et al. Digital reconstruction of the Arrigo VII funerary complex.
JP2018036479A (ja) 画像投影システム、情報処理装置、画像投影方法及びプログラム
EP2763508A2 (de) Verfahren und System zur Erkennung einer Position oder Form eines Leuchtelements
JP6844152B2 (ja) 画像投影システム、情報処理装置、画像投影方法及びプログラム
CN117336415A (zh) 一种应用于书画扫描的高光谱扫描系统及其扫描方法
CN101442456B (zh) 化工数据管理信息系统
CN113408029B (zh) 一种智能家居设计及仿真系统
JP6769179B2 (ja) 画像投影システム、情報処理装置、画像投影方法及びプログラム
Finn Museum authorship and the conservation of media installations: Two case studies from the smithsonian american art museum
US20070109416A1 (en) Apparatus and method for remote inspection of a structure using a special imaging system
JP2018097080A (ja) 画像投影システム、情報処理装置、画像投影方法及びプログラム
JP6696362B2 (ja) 画像投影システム、情報処理装置、画像投影方法及びプログラム
JP6834259B2 (ja) 画像投影システム、情報処理装置、画像投影方法及びプログラム
Tai Digital Archiving of the Spatial Experience of Cultural Heritage Sites with Ancient Lighting
EP3633501A1 (en) Print server device, print object configuration method, and recording medium
CN117707883B (zh) 一种用于云平台与云上业务运行监控可视化的方法及系统
Reed Volume 0: Primer for the OGC CDB Standard: Model and Physical Data Store Structure. Version 1.1.
WO2014111160A1 (en) Device and method for rendering of moving images and set of time coded data containers

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190703

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200727

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200811

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201007

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201208

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210202

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210713

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210726

R151 Written notification of patent or utility model registration

Ref document number: 6930076

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151