JP6532358B2 - 表示制御装置、制御方法及び制御プログラム - Google Patents

Description

本発明は、表示制御装置、制御方法及び制御プログラムに関する。

ライブコンサート、スポーツ観戦などのイベントに参加する観客が、イベント会場内にてケミカルライト（サイリウム（登録商標）等）の発光体を振ることで観客の間に一体感を生み出し、イベントを盛り上げることが広く行われている。

また、従来のケミカルライトに代えて、観客が所持している端末（スマートフォン等）の画面に所定の色を表示させることも行われている（例えば、特許文献１参照）。

特開２０１５−０７３１８２号公報

各端末がイベント会場内のどの位置に存在するのかを予め把握しておき、各端末の位置に応じて発光パターン（表示パターン）を制御することができれば、例えば、流れるカラーライトのようにイベントを盛り上げるための様々な演出を行うことが可能になる。

ここで、発光パターンを制御する装置に各端末の位置を把握させるために、イベント会場内の座席位置やゾーン区分を、観客自ら端末に入力することが考えられる。しかしながら、この方法では、観客自ら端末を操作しなければならず非常に手間及び時間がかかるという問題がある。更に、観客が座席位置やゾーン区分を誤って入力することも想定されるため、各端末の位置が正確なのか判断が出来ないという問題がある。

開示の技術は上記に鑑みてなされたものであって、端末の位置を容易に把握することが可能な技術を提供することを目的とする。

開示の技術の表示制御装置は、ネットワークを介して端末及び撮影装置と接続される表示制御装置であって、前記端末に位置検出用の発光パターンを通知する通知手段と、前記端末が発光した発光パターンを撮影した画像を前記撮影装置から取得する取得手段と、前記画像と前記端末に通知した前記位置検出用の発光パターンとを比較することで、前記端末の位置を特定する位置特定手段と、を有する。

開示の技術は上記に鑑みてなされたものであって、端末の位置を容易に把握することが可能な技術が提供される。

実施の形態に係る制御システムの構成の一例を示す図である。 実施の形態に係る表示制御装置の機能構成の一例を示す図である。 画像データ情報及び端末情報の一例を示す図である。 イベント会場におけるゾーン区分の一例を説明するための図である。 位置検出用の発光パターンの一例を説明するための図である。 実施の形態に係る端末の位置検出処理を説明するためのシーケンス図である。 端末の位置を特定する処理の具体例を説明するための図である。 実施の形態に係る演出用発光パターンの制御処理を説明するためのシーケンス図である。 演出用の発光パターンの一例を説明するための図である。

以下、図面を参照して実施の形態について説明する。各図面において、同一構成部分には同一符号を付し、重複した説明を省略する場合がある。なお、以下で説明する実施の形態では、開示の技術をイベント会場にて端末の位置を特定して制御するシステムに適用する例を説明しているが、開示の技術は、端末の位置を特定して制御するシステムであればどのようなシステムに対しても適用可能である。

＜概要＞
図１は、実施の形態に係る制御システムの構成の一例を示す図である。図１に示すように、実施の形態に係る制御システムは、表示制御装置１と、端末（２−１、２−２〜２−Ｎ）と撮影装置３とを有する。なお、以下の説明において、端末（２−１、２−２〜２−Ｎ）のうち任意の端末は「端末２」と表す。

表示制御装置１は、有線又は無線によるネットワークを介して端末２及び撮影装置３と通信する機能を有しており、イベント会場内の各端末２の画面に表示させる発光パターンを制御する。また、表示制御装置１は、撮影装置３で撮影された画像を分析することで、各端末２がイベント会場内のどの位置に存在するのかを検出する。

端末２は、表示制御装置１と通信する機能を有しており、表示制御装置１からの指示に基づいて画面上に様々な表示を行う。端末２は、例えばスマートフォン又はタブレット端末などである。

撮影装置３は、イベント会場内を撮影し、撮影した画像（又は動画像）を表示制御装置１に送信する機能を有する。撮影装置３は、例えばビデオカメラ又はデジタルカメラなどである。

本制御システムにおいて、表示制御装置１は、イベント会場内にて端末２の位置を特定するための発光パターン（以下、「位置検出用の発光パターン」と呼ぶ）を端末２に通知し、イベント会場内にて端末２が発光した発光パターンを撮影した画像を撮影装置３から取得する。また、表示制御装置１は、当該画像と、端末２に通知した位置検出用の発光パターンとを比較することで、イベント会場内における端末２の位置を特定する。更に、表示制御装置１は、特定された端末２の位置に応じた演出用の発光パターンを端末２に通知し、端末２は、通知された演出用の発光パターンに従って画面を発光させる。これにより、本制御システムは、端末の位置を容易に把握することが可能になると共に、全体で統一感が得られるように各端末２の発光パターンを制御することで、イベントを盛り上げる演出を行うことができる。

＜機能構成＞
図２は、実施の形態に係る表示制御装置の機能構成の一例を示す図である。図２に示すように、表示制御装置１は、発光パターン通知部１０と、画像取得部１１と、位置特定部１２と、記憶部１３とを有する。

発光パターン通知部１０は、端末２ごとに異なる発光パターンが設定された位置検出用の発光パターンと、位置が特定された端末２の位置に応じた演出用の発光パターンとを端末２に通知する。また、発光パターン通知部１０は、どの端末２にどの位置検出用の発光パターンを通知したのかを記憶しておくために、端末２を一意に識別するための端末ＩＤと、位置検出用の発光パターンを一意に識別するための位置検出用発光パターンＩＤとを、記憶部１３に記憶されている端末情報に格納する。

画像取得部１１は、端末２が発光した発光パターンを撮影した複数枚の画像を撮影装置３から取得し、記憶部１３に記憶されている画像データ情報に格納する。なお、画像取得部１１は、端末が発光した発光パターンを撮影した動画像を撮影装置３から取得し、動画像のフレームレートに従って複数枚の画像（静止画像）ファイルに分割して画像データ情報に格納するようにしてもよい。

位置特定部１２は、記憶部１３に格納されている複数枚の画像と、端末２に通知した位置検出用の発光パターンとを比較することで、イベント会場内における端末２の位置を特定する。また、位置特定部１２は、特定された端末２の位置を、記憶部１３に記憶されている端末情報に格納する。

記憶部１３は、ＨＤＤ又はメモリ等により実現され、画像データ情報及び端末情報を記憶する。ここで、画像データ情報及び端末情報の一例を説明する。

図３は、画像データ情報及び端末情報の一例を示す図である。画像データ情報には、複数枚の画像ファイルが、撮影された時系列（順序）が特定可能なように格納されている。図３（ａ）の例では、画像ファイルはビットマップ形式であることが示されているが、これに限られず、他のファイル形式であってもよい。また、図３（ａ）の例では、当該画像ファイルのファイル名をインクリメントすることで、撮影された時系列を特定可能にしている。具体的には、０００１．ｂｍｐの次に撮影された画像ファイルのファイル名を０００２．ｂｍｐとし、０００２．ｂｍｐの次に撮影された画像ファイルのファイル名を０００３．ｂｍｐとすることで、画像ファイルの時系列を特定可能にしている。なお、これに限られず、他の方法で画像ファイルの時系列を特定可能にしてもよい。

端末情報には、図３（ｂ）に示すように、端末２を一意に識別するための端末ＩＤと、位置検出用発光パターンＩＤと、端末２の位置を示す端末位置とが対応づけられて格納される。

ここで、端末位置及び位置検出用の発光パターンの一例を説明する。本制御システムでは、複数の端末２ごとにそれぞれ異なる位置検出用の発光パターンを通知し、撮影装置でイベント会場内を撮影した複数枚の画像を用いて、イベント会場内のどのゾーン区分にどの位置検出用の発光パターンで発光している端末２が存在するのかを分析することで、複数の端末２の各々の位置を特定する。

図４は、イベント会場におけるゾーン区分の一例を説明するための図である。図４に示すように、本実施の形態では、イベント会場全体を予め複数のゾーンに区切っておき、各端末２の位置をゾーン区分で特定する。図４の例では、イベント会場の横方向をＡ〜Ｉに区切り、縦方向を１〜５に区切ることで、イベント会場内を複数のゾーン区分に分けるようにしている。例えば、図３（ｂ）の例では、端末ＩＤが「００００１」である端末２の位置情報は「ゾーンＥ２」であることが示されているが、これは、当該端末２が、横方向が「Ｅ」、縦方向が「２」であるゾーン区分に存在していることを示している。なお、図４はあくまで一例であり、ゾーン区分の単位を、例えばイベント会場内の座席単位まで詳細化するようにしてもよい。また、図４の例では、イベント会場の一部のみが示されているが、イベント会場全体を複数のゾーン区分に分けるようにしてもよい。

図５は、位置検出用の発光パターンの一例を説明するための図である。図５の横軸は時間軸を示している。図５（ａ）の例では、時刻（t1）、時刻（t2）、時刻（t3）・・・時刻（tx）の順に異なる発光色（赤、青、緑のうちいずれか１つ）が設定されており、図５（ｂ）の例では、時刻（t1）、時刻（t2）、時刻（t3）・・・時刻（tx）の順に異なる発光色（赤、黄、緑のうちいずれか１つ）又は「発光無し」が設定されている。また、図５の縦方向は、位置検出用発光パターンＩＤごとの発光色を示しており、各時刻（t1〜tx）において、位置検出用発光パターンＩＤごとに異なる発光色が設定されている。なお、撮影装置３がビデオカメラである場合、時刻（t1〜tx）の間隔は、撮影装置３のフレームレートと同一又は倍数に設定される。具体的には、撮影装置３のフレームレートが１０ｆｐｓである場合、時刻（t1〜tx）の間隔は０．１×ｎ（ｎは整数）秒間隔に設定される（すなわち、発光色が０．１×ｎ秒ごとに切り替わる）。これにより、撮影装置３で撮影された動画像から生成される複数枚の画像ファイルの各々と、図５で示す位置検出用の発光パターンの変化とを同期させることができる。また、撮影装置３がデジタルカメラである場合、時刻（t1〜tx）の間隔は、撮影装置３の撮影間隔と同一又は倍数に設定される。

なお、位置検出用の発光パターンは、図５に示す発光パターンに限られない。例えば、青色を除く「赤、緑」の２色による発光パターンを用いるようにしてもよいし、「赤、緑、黄（オレンジ）」の３色による発光パターンを用いるようにしてもよいし、「赤、緑、発光無し」の３相による発光パターンを用いるようにしてもよい。青色は発色が悪い（光が暗い）傾向にあるため、青色を除く発光パターンを用いることで端末位置の検出精度を向上させることができる。

＜システムの動作例＞
次に、本実施の形態における制御システムの動作例を図を用いて説明する。

（端末の位置検出）
図６は、実施の形態に係る端末の位置検出処理を説明するためのシーケンス図である。

ステップＳ１０１で、端末２にインストールされたケミカルライトを実現するアプリケーション（以下、単に「アプリ」と呼ぶ）が起動される。なお、本アプリケーションは、予め所定のサーバからダウンロードされて端末２にインストールされていることを想定している。

ステップＳ１０２で、端末２のアプリは、表示制御装置１に接続要求信号を送信する。当該接続要求信号には、端末２自身が認識している現在時刻が含まれる。なお、当該接続要求信号には、ＧＰＳ等を用いて測定された端末２の現在位置を示す情報が含まれていてもよい。

ステップＳ１０３で、表示制御装置１の発光パターン通知部１０は、表示制御装置１自身が認識している現在時刻と、ステップＳ１０２で通知された端末２自身が認識している現在時刻とを比較することで、表示制御装置１自身が認識している時刻と端末２自身が認識している時刻との間の時間のずれを補正するためのオフセット値を算出する。なお、オフセット値は、端末２のアプリが発光パターンに従って発光する（画面の表示色を切替える）際に、発光タイミング（切り替えタイミング）を表示制御装置１及び他の端末２と同期させるようにするために用いられる。

ステップＳ１０４で、表示制御装置１の発光パターン通知部１０は、位置検出用発光パターン通知信号を端末２に送信する。当該位置検出用発光パターン通知信号には、端末ＩＤと、位置検出用の発光パターンを示す情報と、オフセット値とが含まれる。また、発光パターン通知部１０は、端末２に通知した端末ＩＤと位置検出用の発光パターンに対応する位置検出用発光パターンＩＤとを対応づけて端末情報に格納する。

なお、発光パターン通知部１０は、端末ＩＤを、ステップＳ１０２の処理手順で接続要求を受信した順に割り当てて端末２に通知するようにしてもよい。また、位置検出用発光パターン通知信号に含まれる「位置検出用の発光パターンを示す情報」は、位置検出用発光パターンＩＤでもよいし、各時刻における発光パターンを具体的に示す情報（時刻「t1」＝赤、時刻「t2」＝緑、・・・）でもよい。

なお、発光パターン通知部１０は、端末２の現在位置を示す情報により当該端末２がイベント会場付近に存在していることが確認できた場合に限り、位置検出用発光パターン通知信号を端末２に送信するようにしてもよい。イベントとは無関係な端末２に位置検出用発光パターン通知信号が送信されるのを防止することができる。

ステップＳ１０５で、端末２のアプリは、位置検出用発光パターン通知信号に含まれる位置検出用の発光パターンを示す情報及びオフセット値に従って画面を発光させる（画面の表示色を切替える）。

ステップＳ１０６で、撮影装置３は、イベント会場内の端末２が位置検出用の発光パターンに従って画面を発光させている様子を撮影する。

ステップＳ１０７で、撮影装置３は、撮影した複数枚の画像（又は動画像）を表示制御装置１に送信する。また、表示制御装置１の画像取得部１１は、複数の画像ファイルを記憶部１３の画像データ情報に時系列順に格納する。

ステップＳ１０８で、表示制御装置１の位置特定部１２は、画像データ情報に含まれる時系列順の画像ファイルから位置検出用の発光パターンとゾーン区分とを認識し、端末情報の各レコードうち、認識された位置検出用の発光パターンに対応する「位置検出用発光パターンＩＤ」を含むレコードの「端末位置」に、認識されたゾーン区分を格納する。ここで、位置特定部１２が端末２の位置を特定する際の処理の具体例を説明する。

図７は、端末の位置を特定する処理の具体例を説明するための図である。図７（ａ）〜図７（ｃ）は、それぞれ時系列順の画像ファイルの一例を示している。端末２は観客が保持しているため、観客の手の動きによって端末２の位置が変化することになる。すなわち、端末２の位置が変化することで、ある端末２が発光した発光色を、他の端末２が発光した発光色と誤認識してしまう可能性がある。そこで、位置特定部１２は、例えば、画像ファイルを、イベント会場内の座席の位置に対応させるように複数の区画（図７の例では９区画）に区切り、同一の区画内に含まれる色の変化が、各端末２に通知した位置検出用の発光パターンのうちどの発光パターンに従って変化しているのかを認識するようにしてもよい。なお、当該複数の区画の各々がどのゾーン区分に対応するのかを位置特定部１２が判断できるように、当該複数の区画の各々とゾーン区分とを対応づける情報を予め記憶部１３等に保持しておくようにしてもよい。

このように画像ファイルを区切ることで、１つの区画に１つの端末２のみが存在することになり、ある端末２の発光色と他の端末２の発光色とを誤認識してしまう可能性を減らし、認識精度を向上させることができる。図７には、左上の区画に「端末ＩＤ＝００００１」である端末２のみが存在し、発光パターンが順次変化している様子が図示されている。

また、位置特定部１２は、ビットマップ形式の画像ファイルをＲＧＢ系からＨＳＶ系に変換し、各ピクセルの色相（Ｈ）を用いて発光色を検出するようにしてもよい。本実施の形態では、位置特定部１２は、どのような方法で発光色を検出するようにしてもよい。

なお、ステップＳ１０４〜ステップＳ１０８の処理手順を繰り返し行い、位置検出用の発光パターンを使い回すことで端末２の位置を特定するようにしてもよい。例えば、各端末２に割当てられた端末ＩＤが「００００１」〜「５００００」であった場合（すなわち、イベント会場に５万台の端末２が存在する場合）、最初に、端末ＩＤが「００００１」〜「２５０００」までの端末２に対して、それぞれ「Ｐａｔｔｅｒｎ＿００００１」〜「Ｐａｔｔｅｒｎ＿２５０００」の位置検出用の発光パターンを割当てることで端末２の位置を検出し、次に、端末ＩＤが「２５００１」〜「５００００」までの端末２に対して、それぞれ「Ｐａｔｔｅｒｎ＿００００１」〜「Ｐａｔｔｅｒｎ＿２５０００」の位置検出用の発光パターンを割当てることで端末２の位置を検出するようにしてもよい。これにより、位置検出用の発光パターンを使い回すことができる。

なお、撮影装置３が有するカメラの解像度が低い場合、イベント会場全体を一度に撮影してしまうと、生成される画像ファイルの解像度が低くなり端末２の発光色を正しく認識出来ない可能性がある。そこで、撮影装置３は、イベント会場を複数のエリアに分けて撮影し、位置特定部１２は、撮影されたエリアごとに端末２の位置を特定するようにしてもよい。撮影装置３が有するカメラの解像度が低い場合であっても、端末２の位置を特定することが可能になる。

（演出用発光パターン制御）
図８は、実施の形態に係る演出用発光パターンの制御処理を説明するためのシーケンス図である。

ステップＳ２０１で、表示制御装置１の発光パターン通知部１０は、端末情報を用いることで演出用の発光パターンを端末２ごとに生成する。例えば、発光パターン通知部１０は、端末情報の位置情報が同一である端末２（すなわち同一のゾーン区分に存在する端末２）に対して、同一の演出用の発光パターンを生成するようにしてもよい。

ステップＳ２０２で、表示制御装置１の発光パターン通知部１０は、演出用発光パターン通知信号を端末２に送信する。当該演出用発光パターン通知信号には、ステップＳ２０１で生成した演出用の発光パターンを示す情報が含まれる。演出用の発光パターンを示す情報は、各時刻における発光パターンを示すシナリオであってもよいし、具体的に示す情報（時刻Ｔ１＝赤、時刻Ｔ２＝青、・・・）でもよい。また、当該演出用発光パターン通知信号には、オフセット値（図６のステップＳ１０４で通知されたオフセット値）が含まれていてもよい。

ステップＳ２０３で、端末２のアプリは、演出用の発光パターンを示す情報及びオフセット値に従って画面を発光させる（画面の表示色を切替える）。ここで、演出用の発光パターンの具体例を説明する。

図９は、演出用の発光パターンの一例を説明するための図である。図９の例では、ゾーンＡ１〜Ａ５、ゾーンＢ１〜Ｂ５、ゾーンＣ１〜Ｃ５、ゾーンＤ１〜Ｄ５、ゾーンＥ１〜Ｅ５、ゾーンＦ１〜Ｆ５、及びゾーンＧ１〜Ｇ５のそれぞれに存在する全ての端末２に対して同一の演出用の発光パターンが通知され、時系列変化に応じて各端末２が発光パターンを変化させている様子を示している。

より具体的には、ゾーンＡ１〜Ａ５に存在する全端末２は、時刻Ｔ１では「赤」、時刻Ｔ２では「緑」、時刻Ｔ３では「青」、時刻Ｔ４では「赤」を発光するように制御されている。同様に、ゾーンＢ１〜Ｂ５に存在する全端末２は、時刻Ｔ１では「青」、時刻Ｔ２では「赤」、時刻Ｔ３では「緑」、時刻Ｔ４では「青」を発光するように制御されている。ゾーンＣ１〜Ｃ５、ゾーンＤ１〜Ｄ５、ゾーンＥ１〜Ｅ５、ゾーンＦ１〜Ｆ５、及びゾーンＧ１〜Ｇ５に存在する全端末２についても同様に制御されている。

このように各端末２が制御されることで、例えば、図４に示すイベント会場において、光の波がゾーンＡからゾーンＧに向けて流れていくような演出を行うことが可能になる。

＜まとめ＞
以上説明した実施の形態によれば、ネットワークを介して端末２及び撮影装置３と接続される表示制御装置１であって、前記端末２に位置検出用の発光パターンを通知する通知手段（発光パターン通知部１０）と、前記端末２が発光した発光パターンを撮影した画像を前記撮影装置３から取得する取得手段（画像取得部１１）と、前記画像と前記端末２に通知した前記位置検出用の発光パターンとを比較することで、前記端末２の位置を特定する位置特定手段（位置特定部１２）と、を有する表示制御装置１が提供される。この表示制御装置１により、端末の位置を容易に把握することが可能な技術が提供される。

＜実施の形態の補足＞
本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において、種々変更・応用が可能である。

以上、実施の形態に係る表示制御装置、端末２及び撮影装置３が有する機能は、これらが備えるＣＰＵ及びメモリなどのハードウェア資源を用いて、表示制御装置、端末２及び撮影装置３で実施される処理に対応するプログラムを実行することによって実現することが可能である。また、当該プログラムは、記憶媒体に格納することができる。

１ 表示制御装置
２ 端末
３ 撮影装置
１０ 発光パターン通知部
１１ 画像取得部
１２ 位置特定部
１３ 記憶部

Claims (4)

1. ネットワークを介して端末及び撮影装置と接続される表示制御装置であって、
   前記端末に位置検出用の発光パターンを通知する通知手段と、
   前記端末が発光した発光パターンを撮影した画像を前記撮影装置から取得する取得手段と、
   前記画像と前記端末に通知した前記位置検出用の発光パターンとを比較することで、前記端末の位置を特定する位置特定手段と、
   を有する表示制御装置。
2. 前記通知手段は、前記位置特定手段により特定された前記端末の位置に応じた演出用の発光パターンを前記端末に通知する、請求項１に記載の表示制御装置。
3. ネットワークを介して端末及び撮影装置と接続される表示制御装置が行う制御方法であって、
   前記端末に位置検出用の発光パターンを通知するステップと、
   前記端末が発光した発光パターンを撮影した画像を前記撮影装置から取得するステップと、
   前記画像と前記端末に通知した前記位置検出用の発光パターンとを比較することで、前記端末の位置を特定するステップと、
   を有する制御方法。
4. コンピュータを、請求項１又は２に記載の表示制御装置の各手段として機能させるための制御プログラム。

Images