JP6368881B1 - 表示制御システム，端末装置，コンピュータプログラム，及び表示制御方法 - Google Patents

Abstract

【課題】端末装置と表示装置が連動した表示制御システムを提供する。
【解決手段】表示制御システムは，撮影部を有する端末装置１０と，映像を表示する表示装置５０と，表示装置５０を制御する制御装置２０を備える。端末装置１０又は制御装置２０は，撮影部で撮影した撮影画像に基づいて，表示装置５０が表示する映像内における撮影範囲を特定する。制御装置５０は，特定された撮影範囲に基づいて表示装置５０が表示する映像の表示状態を制御する。これにより，端末装置１０の撮影範囲内に含まれるオブジェクトが映像内から消えたり，端末装置１０の撮影範囲にオブジェクトを映像内に出現させたりするようなインタラクティブ性のある演出を行うことが可能になる。
【選択図】図１

Description

本発明は，所定の映像内における端末装置による撮影範囲を特定し，その撮影範囲に基づいて映像の表示状態を制御する表示制御システムや表示制御方法に関する。例えば，本発明に係るシステムでは，スクリーンに投影された映像内に動物が存在している場合に，端末装置でその動物を撮影すると映像内から動物が消えて，あたかも端末装置によって動物を捕獲したかのような演出を行うことができる。あるいは，端末装置で撮影している映像の撮影範囲内に動物や餌などを出現させる演出を行うこともできる。また，本発明は，このようなシステムで用いられる端末装置や，端末装置用のコンピュータプログラムに関する。

近年，高機能かつ多機能の携帯端末（いわゆるスマートフォン）の普及率が高まったことに伴い，利用者が持つ携帯端末に魅力的なコンテンツを提供することで，展示会や店舗への集客力を高めようとする試みが多く見受けられる。

例えば，特許文献１には，いわゆるＡＲ（Augmented Reality）技術を利用した店舗集客支援システムが開示されている。特許文献１のシステムでは，店舗内の商品が配置されるエリアに設けられたスクリーンに所定のキャラクタの映像を投影し，この映像を利用者に携帯端末で撮影させ，その撮影画像に含まれるキャラクタを特定して，特定したキャラクタを捕獲済みとして図鑑に登録する。このシステムでは，利用者の携帯端末で撮影した画像をインターネットを介して管理サーバへ送信し，管理サーバにおいて撮影画像の解析を行い，その画像に含まれるキャラクタを特定する。スクリーンに投影されたキャラクタの映像にはマーキング情報（例：キャラクタの帽子の形状など）が埋め込まれているため，管理サーバは，撮影画像からこのマーキング情報を抽出することで，利用者がどの種類のキャラクタを撮影したのかを特定することができるようになっている。

特開２０１６−６２２７３号公報

ところで，特許文献１のシステムでは，携帯端末から受信した撮影画像を管理サーバで解析することで，携帯端末がキャラクタの捕獲（撮影）に成功したか否かを判定しているに過ぎず，キャラクタの捕獲（撮影）に成功した場合であっても，キャラクタはスクリーン上に投影され続けることとなる。実世界において対象物を捕獲した場合，対象物はユーザの手元に移動し元々居た場所には残らないが，特許文献１のシステムでは，キャラクタが捕獲後もスクリーン上に残るため，実世界の状況とは乖離しているといえる。このように，特許文献１のシステムでは，スクリーン上のキャラクタを実際に捕獲したかのようなリアリティのある体験をユーザに対して与えることができないという問題がある。

また，特許文献１のシステムは，携帯端末がキャラクタの撮影に成功したか否かを管理サーバで判定することを前提としたものであるため，仮に携帯端末がキャラクタを含まないスクリーン上の映像を撮影している場合，その携帯端末が映像中のどの範囲を撮影しているかを特定することができない。このため，このシステムでは，例えば携帯端末による撮影範囲内に新しいキャラクタを出現させるといったインタラクティブ（双方向）な演出を行うことができない。

そこで，本発明は，表示装置が表示する映像を利用者が端末装置で撮影するシステムにおいて，リアリティのあるインタラクティブな演出を行えるようにすることを主たる目的とする。

本発明の第１の側面は表示制御システムに関する。表示制御システムは，撮影部を有する端末装置，映像を表示する表示装置，及びこの表示装置を制御する制御装置を備える。端末装置と制御装置は，通信回線（インターネットやＬＡＮ）を通じて相互に情報の授受を行えるように無線又は有線で接続されている。表示装置の例は，スクリーンに映像を投影するプロジェクタや，液晶パネルや有機ＥＬパネル等に映像を表示するディスプレイである。なお，表示装置が表示する「映像」には，動画及び静止画が含まれる。

端末装置が撮影部によって表示装置が表示している映像が撮影されると，端末装置又は制御装置は，撮影部で撮影した撮影画像に基づいて，表示装置が表示する映像内における撮影範囲を特定する。例えば，映像中に背景とオブジェクトが含まれる場合に，撮影画像を解析して背景を抽出し，抽出した背景を映像内の座標を特定するためのマップ情報（予め端末装置又は制御装置に記憶されている情報）と照合することで，その映像中の撮影範囲を特定することができる。なお，このマップ情報は，全体の映像内の一部を切り出した画像を予め複数蓄積しておき，この蓄積された画像を教師データとしてディープラーニング等の機械学習を実施することによって作成されたデータ（学習済みモデル）であってもよい。機械学習を利用することで，映像が動画であっても撮影範囲の座標を特定する精度が高まる。また，端末装置が自己の撮影画像に基づいて撮影範囲を特定して，その撮影範囲の情報を制御装置に送信することとしてもよいし，端末装置が撮影画像を制御装置に送信して，制御装置がその撮影画像に基づいて撮影範囲を特定してもよい。

その後，制御装置は，特定された撮影範囲に基づいて，表示装置を制御する。例えば，撮影範囲に含まれるオブジェクトを非表示にしたり，撮影範囲内にオブジェクトを出現させたり，端末装置の撮影範囲を示すフレームをリアルタイムに表示したりすることができる。このように，表示装置が表示している映像を端末装置が撮影した際に，その撮影範囲に応じて映像の表示状態をリアルタイムに制御することで，例えば端末装置によって撮影（捕獲）されたオブジェクトが映像中から消えるといったリアリティのあるインタラクティブな演出を行うことが可能になる。なお，端末装置による撮影範囲を利用した表示演出は，ここに挙げたものに限られず，その他に様々な形に応用することが可能である。

本発明に係るシステムにおいて，制御装置は，所定のオブジェクトを表示するように表示装置を制御し，特定された撮影範囲内にオブジェクトが含まれるか否かを判定し，ここでの判定の結果に基づいて表示装置によるオブジェクトの表示状態を制御することとしてもよい。オブジェクトは，制御装置による制御に基づいて，映像を構成するワールド座標系内でリアルタイムに動作するものであってもよい。

本発明に係るシステムにおいて，制御装置は，特定された撮影範囲内にオブジェクトが含まれる場合に，オブジェクトが非表示になるように表示装置を制御することが好ましい。このようにすれば，ユーザによって撮影されたオブジェクトが映像中から消えることとなるため，実際にユーザが映像内のオブジェクトを捕獲したかのようなリアリティのある体験を提供することができる。ただし，オブジェクトの表示制御はこれに限られず，例えば，端末装置の撮影範囲に含まれるオブジェクトの色を変えたり，オブジェクトを変形させたり，オブジェクトの行動を変化させるなど，様々な演出に応用することができる。

本発明に係るシステムにおいて，制御装置は，特定された撮影範囲内に所定のオブジェクトが出現するように表示装置を制御することが好ましい。このようにすれば，ユーザが映像内の任意の位置にオブジェクトを出現させることができるようになるため，ユーザに対して没入感のある体験を与えることができる。また，例えば，ユーザが一度映像内から捕獲したオブジェクトを，任意の別の場所に出現させるといった演出も可能となる。

本発明に係るシステムにおいて，端末装置が，映像内の座標を特定するためのマップ情報を記憶しており，マップ情報を参照することにより撮影範囲の座標情報を特定し，撮影範囲の座標情報を制御装置に送信することが好ましい。制御装置側で撮影画像を解析して撮影範囲を特定することも可能であるが，その場合には多数の端末装置が制御装置にアクセスが集中したときに制御装置の負荷が過大となりボトルネックが発生し処理の遅延を招く恐れがある。このため，撮影画像の解析処理は端末装置側で行い，撮影範囲の座標情報のみを制御装置に送信することとし，上記ボトルネックの発生を回避することが好ましい。

本発明に係るシステムにおいて，端末装置は，自己の現在位置を特定するための位置情報特定部を更に備えることとしてもよい。位置情報特定部の例は，イベント会場内に設置された超音波発生装置から出力されてる超音波の周波数を解析する超音波センサである。イベント会場内を複数のエリアに区分けし，エリアごとに出力周波数の異なる超音波発生装置を配置しておけば，その超音波の周波数を端末装置で解析することで，端末装置は自己の現在位置を特定することができる。その他の位置情報特定の例は，ＧＰＳ受信機などが挙げられる。この場合に，端末装置又は制御装置は，撮影部で撮影した撮影画像と，位置情報特定部で特定した現在位置の情報とに基づいて，表示装置が表示する映像内における撮影範囲を特定することとしてもよい。このように，撮影画像に加えて端末装置の位置情報に基づいて映像内の撮影範囲を特定することで，その特定処理の精度を向上させることができる。例えば，会場内の広い範囲に亘って映像が表示されている場合に，映像内の背景が同じになる箇所が複数存在する可能性がある。その場合に，映像内の背景のみにでは端末装置の撮影範囲を特定することができない可能性がある。そこで，携帯端末の位置情報を参照することで，端末装置による撮影範囲を一意に特定することが容易になる。

本発明の第２の側面は，端末装置に関する。本発明に係る端末装置は，撮影部，記憶部，画像解析部，及び通信部を備える。撮影部は，画像を取得するためのカメラである。記憶部は，所定の映像内の座標を特定するためのマップ情報を記憶している。画像解析部は，撮影部で撮影した撮影画像とマップ情報に基づいて，映像内の撮影部による撮影範囲を特定する。通信部は，特定した撮影範囲に関する情報を映像の表示状態を制御する制御装置に送信する。

本発明の第３の側面は，携帯型情報通信端末を，上記第１の側面に係る表示制御システムの端末装置，又は上記第１の側面に係る端末装置として機能させるためのコンピュータプログラムに関する。コンピュータプログラムは，情報記憶媒体に記憶されたものであってもよいし，インターネットを通じてダウンロード可能なものであってもよい。

本発明の第４の側面は，表示制御方法に関する。本発明に係る表示制御方法は，端末装置又は制御装置が，端末装置の撮影部で撮影した撮影画像に基づいて，表示装置が表示する映像内における撮影範囲を特定する第１の工程と，制御装置が，特定された撮影範囲に基づいて，表示装置が表示する映像を制御する第２の工程とを含む。

本発明によれば，表示装置が表示する映像を利用者が端末装置で撮影するシステムにおいて，リアリティのあるインタラクティブな演出が可能となる。

図１は，表示制御システムの全体構成を模式的に示している。 図２は，表示制御システムを構成する各種装置の機能ブロックを示している。 図３は，動作オブジェクトを捕獲する演出の動作例を模式的に示している。 図４は，オブジェクト捕獲処理の一例を示したフロー図である。 図５は，マップ情報の例を概念的に示している。 図６は，動作オブジェクトを解放する演出の動作例を模式的に示している。 図７は，作用オブジェクトを解放する演出の動作例を模式的に示している。 図８は，オブジェクト捕獲処理の一例を示したフロー図である。

以下，図面を用いて本発明を実施するための形態について説明する。本発明は，以下に説明する形態に限定されるものではなく，以下の形態から当業者が自明な範囲で適宜変更したものも含む。

図１は，本発明の一実施形態に係る表示制御システム１００の全体構成を模式的に示している。図１に示されるように，本発明に係る表示制御システム１００は，端末装置１０，制御装置２０，及び表示装置５０を備える。端末装置１０と制御装置２０は，インターネットやＬＡＮなどの通信回線を通じて接続されている。端末装置１０は，システムのユーザによって所持される携帯型情報通信端末であり，例えばスマートフォンやタブレット型端末を用いることができる。端末装置１０は，カメラ（撮影部）を有しており，表示装置５０が表示する映像を撮影して画像を取得することができる。制御装置２０は，表示装置５０を制御して所定の映像を出力させる。本実施形態において，制御装置２０は，通信回線を通じて互いに接続された管理装置３０と描画装置４１を含んで構成されている。管理装置３０の例は，端末装置１０と通信可能なウェブサーバであり，描画装置４１の例は，表示装置５０と同じ施設内に配置され表示装置５０と有線又は無線で接続されたローカルＰＣである。表示装置５０は，制御装置２０の制御に従って所定の映像を出力する。本実施形態において，表示装置５０は，スクリーン６０に映像を投影するプロジェクタが採用されている。ただし，プロジェクタは，液晶ディスプレイや有機ＥＬディスプレイなどのディスプレイ装置と置き換えることもできる。表示装置５０は，イベント会場内に複数台設置してもよい。この場合，描画装置４０と表示装置５０は一対一で対応させることもできるし，一つの描画装置４０に複数の表示装置５０を接続することもできる。

図２は，表示制御システム１００の機能ブロックを示している。図２に示されるように，端末装置２０は，処理部１１，記憶部１２，通信部１３，撮影部１４，位置情報取得部１５，出力部１６，及び操作部１７を有する。なお，図２では，端末装置１０の機能構成として一般的なものを例示している。本システムでは，端末装置１０が複数台存在することを想定しているが，各端末装置１０はすべてが同じ構成を有している必要はなく，異なる構成を有していてもよい。

端末装置１０の処理部１１は，端末装置１０が備える他の要素１２〜１７を制御する処理を行う。処理部１１としては，ＣＰＵ又はＧＰＵといったプロセッサを利用することができる。処理部１１は，記憶部１２に記憶されているアプリケーションプログラム（コンピュータプログラム）を読み出し，このアプリケーションプログラムに従って他の要素を制御する。また，処理部１１は，アプリケーションプログラムに従った演算結果を記憶部１２に適宜書き込んだり読み出したりすることができる。

また，本実施形態において，端末装置１０の処理部１１は，画像解析部１１ａ，位置特定部１１ｂ，及びオブジェクト特定部１１ｃを有している。画像解析部１１ａは，撮影部１４で取得した撮影画像を解析して，表示装置が生じする映像内における撮影範囲を特定する。その際に，画像解析部１１ａは，記憶部１２に記憶されているマップ情報を参照することができる。このマップ情報は，映像全体の各点における座標位置に関する情報を持つ。位置特定部１１ｂは，位置情報取得部１５が取得した情報に基づいて自己の端末装置１０の現在の位置を特定する。オブジェクト特定部１１ｃは，制御装置２０から得た情報に基づいて撮影画像に含まれるオブジェクトを特定したり，操作部１７を介して入力されたユーザの指示に基づいてオブジェクトを選択したりする処理を行う。これら機能部１１ａ〜１１ｃが行う処理の詳細については，図４や図８に示したフロー図を参照して後述する。

端末装置１０の記憶部１２は，処理部１１での演算処理等に用いられる情報を記憶するための要素である。具体的に説明すると，記憶部１２は，汎用的な携帯型の情報通信端末を，本発明に係る表示制御システム１００における端末装置１０として機能させるアプリケーションプログラムを記憶している。このアプリケーションプログラムは，インターネットを経由して端末装置１０にダウンロードされたものであってもよいし，端末装置１０にプリインストールされたものであってもよい。また，記憶部１２には，本システム用のアプリケーションプログラム以外にも，その他のプログラムが記憶されていてもよい。ユーザからの指示により，本システム用のアプリケーションプログラムが起動されると，このプログラムに従った処理が実行される。また，記憶部１２には，端末装置１０固有の端末ＩＤや，それを所持するユーザ固有のユーザＩＤが記憶されていてもよい。また，記憶部１２には，ネットワーク上の識別情報であるＩＰアドレスが記憶されている。さらに，記憶部１２には，処理部１１の画像解析部１１ａが撮影画像から映像中の撮影範囲を特定するのに参照するマップ情報が予め記憶されている。また，記憶部１２には，端末装置１０で捕獲又は解放が可能なオブジェクトに関する情報（画像データやオブジェクトの説明など）が，各オブジェクトのＩＤ情報と関連付けて記憶されている。記憶部１２のストレージ機能は，例えばＨＤＤ及びＳＤＤといった不揮発性メモリによって実現できる。また，記憶部１２は，処理部１１による演算処理の途中経過などを書き込む又は読み出すためのメモリとしての機能を有していてもよい。記憶部１２のメモリ機能は，ＲＡＭやＤＲＡＭといった揮発性メモリにより実現できる。

端末装置１０の通信部１３は，制御装置２０（具体的には管理装置３０）との間で，インターネット等の通信回線を介して情報の授受を行うための要素である。通信部１３は，処理部１１の制御に従って，各種情報を制御装置２０へ送信したり制御装置２０から受信することができる。

撮影部１４は，静止画又は動画の画像データを取得するためのカメラである。撮影部１４を構成するカメラは，端末装置１０に内蔵されているものを利用する。撮影部１４によって取得された画像データは，処理部１１へと送出され所定の演算処理が行われた後に，記憶部１２に保存される。カメラは，例えば，レンズ，メカシャッター，シャッタードライバ，ＣＣＤイメージセンサユニットやＣＭＯＳイメージセンサユニットといった光電変換素子，光電変換素子から電荷量を読み出し画像データを生成するデジタルシグナルプロセッサ（ＤＳＰ），ＩＣメモリなどで構成される。

位置情報取得部部１５は，端末装置１０の現在の位置情報に関連する情報を取得するための要素である。端末装置１０の位置情報取得部１５は，例えば，イベント会場内に設置された超音波発生装置から発信される所定周波数の超音波を受信可能な超音波センサである。例えば，イベント会場は複数のエリアに区分され，各エリアに発生させる周波数の異なる超音波発生装置が配置されている。この場合には，各周波数の超音波が位置情報として機能することとなる。その他，位置情報取得部１５は，ＧＰＳ（Global Positioning System）を利用した測位を行う機能を持つＧＰＳ測位部であってもよい。具体的には，ＧＰＳ測位部は，複数のＧＰＳ衛星から送られた電波に含まれる電波送信時間の情報に基づき，それぞれの電波を受信するのに要した時間を測定し，その時間を示す時間情報に基づいて，端末装置１０の所在位置の緯度経度に関する情報を算出する。

出力部１６は，端末装置１０の利用者に向けて各種の情報を出力するための要素である。処理部１１で演算処理された情報は，出力部１６によって出力される。出力部１６は，公知の情報通信端末に利用されている種々の外部出力装置を採用することができる。出力部１６の例は，ディスプレイ，スピーカ，フラッシュライト，及びバイブレータであるが，これらに限定されない。出力部１６は，端末制御部１１の制御に従って，種々の情報を出力できる。

操作部１７は，ユーザから端末装置１０に対する情報の入力を受け付けるための要素である。操作部１７を介して入力された情報は，処理部１１へと伝達される。操作部１７は，公知の情報通信端末に利用されている種々の入力装置を採用することができる。操作１７の例は，タッチパネル，ボタン，カーソル，マイクロフォン，キーボード，及びマウスであるが，これらに限定されない。また，操作部１７を構成するタッチパネルは，出力部１６を構成するディスプレイと共に，タッチパネルディスプレイを構成していてもよい。

制御装置２０は，表示装置５０を制御するためのコンピュータである。制御装置２０は，表示装置５０の制御に，端末装置１０から得た情報（具体的には撮影部による映像の撮影範囲に関する情報）を反映させることができる。前述したとおり，本実施形態において，制御装置２０の機能は，ウェブサーバとしての管理装置３０と，ローカルＰＣとしての描画装置４０に分散されてる。ただし，表示装置５０がインターネットを介してウェブサーバとしての管理装置３０と直接通信可能である場合には，制御装置２０の機能はこの管理装置３０に集約することができるし，端末装置１１がＬＡＮを介してローカルＰＣとしての描画装置４０に直接通信可能である場合には，制御装置２０の機能はこの描画装置４０に集約することもできる。また，管理装置３０と描画装置４０はそれぞれ複数台のコンピュータによって構築されたものであってもよい。

管理装置３０は，インターネットを介して端末装置１０及び描画装置４０に接続されている。管理装置３０は，基本的に，映像をリアルタイムに生成するとともに，その映像を表示するための制御情報を描画装置４０に対して送信して，この描画装置４０に表示装置５０を制御させる機能を担う。図２に示されるように，管理装置３０は，少なくとも処理部３１，記憶部３２，及び通信部３３を含んで構成されている。

管理装置３０の処理部３１としては，ＣＰＵ又はＧＰＵといったプロセッサを利用することができる。処理部３１は，記憶部３２に記憶されている映像コンテンツを読み出して，表示装置５０から出力する映像をリアルタイムに生成する。本実施形態において，管理装置３０の処理部３１は，表示制御部３１ａとオブジェクト制御部３１ｂを有する。表示制御部３１ａは，背景画像を中心として表示装置５０に表示させる映像の表示状態を制御する。オブジェクト制御部３１ｂは，前述した動作プログラム等に従って，映像内に存在するオブジェクトの表示状態や動作などを制御する。

管理装置３０の記憶部３２は，処理部３１での演算処理等に用いられる情報を記憶するための要素である。記憶部３２には，表示装置５０で表示する映像を構成する映像コンテンツが記憶されている。映像コンテンツには，例えば，映像の背景画像（静止画及び動画を含む）や，この背景画像に重ねて表示するオブジェクトの画像，このオブジェクトを動作させるためのプログラムなどが含まれる。オブジェクトには，映像を構成するワールド座標系内を所定の動作プログラムに従って移動したり予め定められた行動を取るもの（動作オブジェクト：Action Object）や，自身は動作しないものの他の動作オブジェクトに対して作用するもの（作用オブジェクト：Interaction Object）が含まれる。また，動作オブジェクト同士で相互に作用するように動作プログラムを設定することもできる。記憶部３２は，例えばＨＤＤ及びＳＤＤといった不揮発性メモリや，ＲＡＭ及びＤＲＡＭといった揮発性メモリにより実現できる。

管理装置３０の通信部３３は，端末装置１０及び描画装置４０との間で，インターネット等の通信回線を介して情報の授受を行うための要素である。通信部３３は，処理部３１の制御に従って，各種情報を端末装置１０や描画装置４０に対して送受信することができる。

描画装置４０は，インターネットを介して管理装置３０に接続され，有線又は無線ＬＡＮで表示装置５０に接続されている。描画装置４０は，基本的に，管理装置３０から受信した映像の表示制御情報に従って，表示装置３０に映像を表示させる。図２に示されるように，描画装置４０は，少なくとも描画部４１，記憶部４２，及び通信部４３を含んで構成されている。描画装置４１としては，ＣＰＵ又はＧＰＵといったプロセッサを利用すればよい。記憶部４２は，例えばＨＤＤ及びＳＤＤといった不揮発性メモリや，ＲＡＭ及びＤＲＡＭといった揮発性メモリにより実現できる。通信部４３は，管理装置３０との間で，インターネット等の通信回線を介して情報の授受を行うための要素である。

表示装置５０は，描画装置４０からの制御に従って所定の映像を表示する。表示装置５０としては，スクリーンや壁に映像を投影するプロジェクタを採用してもよいし，映像を表示可能な液晶ディスプレイや有機ＥＬディスプレイを採用してもよい。また，表示装置５０は，３次元のホログラム映像を表示するものであってもよい。その他，表示装置５０としては公知のものを適宜採用できる。

続いて，図３及び図４を参照して，端末装置１０及び制御装置２０（管理装置３０及び描画装置４０）が行う処理の一例を説明する。ここでは，ユーザが端末装置１０を利用して映像内のオブジェクトを捕獲する場合の処理について説明する。

図３は，動作オブジェクトの捕獲処理の概要を示している。図３（ａ）に示されるように，ユーザが端末装置１０のカメラを起動して，このカメラを映像が投影されているスクリーン６０に向けると，そのカメラによる撮影範囲がスクリーン６０上にフレームＦが表示される。なお，ユーザに撮影範囲を分かりやすく示すためにこのフレームＦを表示することが好ましいが，フレームＦの表示は必須ではない。また，スクリーン６０に投影されている映像には，例えば動物などキャラクタを象った動作オブジェクトＡＯが表示されている。動作オブジェクトＡＯは，所定の動作プログラムに従って映像空間内で所定の行動を取る。また，動作オブジェクトが端末装置１０の撮影範囲に入っている状態で，ユーザが端末装置１０に対して捕獲アクションの操作を入力すると，端末装置１０はカメラから撮影画像を取得する。すると，スクリーン６０上の映像からユーザが撮影した動作オブジェクトＡＯが消える。これにより，ユーザに対して映像内の動作オブジェクトを捕獲したかのような体験を与えることができる。以下図４を参照して，このようなオブジェクトの捕獲フローについて説明する。

まず，ユーザが端末装置１０のカメラ（撮影部１４）を起動する（ステップＳ１−１）。ユーザが端末装置１０のカメラをスクリーン６０に向けて映像を撮影すると，端末装置１０の画像解析部１１ａは，リアルタイムで連続的にカメラによって撮影されている画像を解析して，映像内における撮影範囲を特定する（ステップＳ１−２）。撮影範囲の特定は，次のように行う。すなわち，端末装置１０の記憶部１２には，映像全体の各点における座標を示したマップ情報が記憶されている。図５には，マップ情報のデータ構造を概念的に示している。マップ情報には，映像全体の背景画像（図示省略）とともに，その映像内の各座標点がプロットされている。このため，本実施形態において，映像内の各座標点は，端末装置１０にとって既知の情報として扱われる。カメラから取得された撮影画像には，少なくとも部分的に背景画像が映り込むと想定される（撮影画像にオブジェクトのみが写り込み背景画像が含まれない場合も想定されるが，その場合にはフレームを非表示又は捕獲失敗とすればよい）。画像解析部１１ａは，撮影画像内に写り込んだ背景画像と，マップ情報の背景画像とを照合して，カメラによる撮影範囲を特定する。その際，矩形状の撮影範囲のうち，少なくとも対角線上の２点の角部の座標情報（Ｐ１，Ｐ２）を特定すればよい。これら２点の角部の座標情報が撮影範囲を特定するための情報ととなる。

なお，映像を構成する背景画像は，静止画だけでなく動画とすることもできる。背景画像が動画の場合，静止画の場合よりも撮影範囲を特定することが困難になる。その場合，動画で構成された背景画像の部分的なキャプチャ画像を多数作成し，各キャプチャ画像に座標情報を与えて多数の教師データを蓄積する。そして，この教師データを元に機械学習を実施し，その学習結果（学習済みモデル）をマップ情報として利用する。これにより，背景画像が動画であっても，撮影範囲の特定の精度が向上する。

次に，端末装置１０の位置特定部１１ｂは，位置情報取得部１５で取得した位置情報に基づいて撮影位置を特定する（ステップＳ１−３）。位置情報取得部１５が超音波センサで構成されている場合，位置特定部１１ｂは，会場に設置された超音波発生装置が発生する超音波の周波数に基づいて撮影位置を特定すればよい。また，位置情報取得部１５はＧＰＳ受信機であってもよい。

次に，端末装置１０の通信部１３は，端末装置１０の端末ＩＤと共に，撮影範囲に関する情報と撮影位置の位置情報を管理装置３０に送信する（ステップＳ１−４）。管理装置３０の表示制御部３１ａは，ここで受信した撮影範囲情報と位置情報に基づいて，端末装置１０のカメラを向けられた映像を表示している表示装置５０を特定する。そして，管理装置３０の表示制御部３１ａは，特定した表示装置５０の映像内に端末装置１０の撮影範囲に対応したフレームの画像を表示させるための表示制御命令を生成し，これを描画装置４０に送信する（ステップＳ１−５）。描画装置４０は，管理装置３０から受信した命令に従って表示装置５０を制御する。これにより，図３（ａ）に示されるように，表示装置５０によって，スクリーン６０上に端末装置１０の撮影範囲に対応したフレームＦが投影されるようになる。ユーザは，手元の端末装置１０のディスプレイをみたり，あるいはスクリーン６０に表示されたフレームＦをみたりしながら，カメラの撮影範囲に動作オブジェクトＡＯが入り込むように，カメラの向きや角度，拡大倍率を調整する。

次に，端末装置１０の処理部１１は，ユーザが操作部１７を介して端末装置１０に捕獲アクションに関する操作を入力したか否かを判断する（ステップＳ１−６）。捕獲アクションの例は，表示画面上の特定部位をタッチする操作や音声の入力操作である。捕獲アクションが入力されない限りは，ステップＳ１−２からステップＳ１−５を繰り返すこととなる。捕獲アクションが入力されると，カメラのシャッターが切られて撮影画像（静止画）が取得される。その場合，端末装置１０の通信部１３は，ステップＳ１−４と同様に，端末装置１０の端末ＩＤと共に，撮影範囲に関する情報と撮影位置の位置情報を管理装置３０に送信する（ステップＳ１−７）。また，このとき，端末装置１０を操作するユーザ固有のユーザＩＤを管理装置３０に送信してもよい。

次に，管理装置３０のオブジェクト制御部３１ｂは，端末装置１０から受信した撮影範囲情報と位置情報に基づいて，その端末装置１０の撮影範囲に含まれているオブジェクトを判定する（ステップＳ１−８）。オブジェクト制御部３１ｂは，記憶部３２に記憶されている動作プログラムに基づいて，映像空間内に存在する各種オブジェクトを制御する要素である。このため，オブジェクト制御部３１ｂは，映像空間内に存在する各種オブジェクトの位置をすべて把握している。オブジェクト制御部３１ｂは，撮影範囲を示す座標情報と各種オブジェクトの座標情報とを照会して，その撮影範囲に捕獲可能なオブジェクトが存在するか否かを判断する。捕獲可能なオブジェクトは，動作プログラムに従って行動する動作オブジェクトであってもよいし，他の動作オブジェクトに対して作用するもの作用オブジェクトであってもよい。動作オブジェクトの例は，動物などのキャラクタを象ったオブジェクトである。また，作用オブジェクトの例は，動物の餌などを象ったオブジェクトである。図３の例では，鹿の動物オブジェクトが端末装置１０の撮影範囲に含まれている。このため，オブジェクト制御部３１ｂは，この鹿の動作オブジェクトが端末装置１０によって捕獲されたと判定する。なお，もし端末装置１０の撮影範囲にオブジェクトが含まれていない場合には，オブジェクトの捕獲失敗とみなしてこのフローを終了させる。

次に，管理装置３０の処理部３１は，上記ステップＳ１−８で捕獲されたと判定したオブジェクトに関する情報を端末装置１０に送信する（ステップＳ１−９）。オブジェクトに関する情報としては，オブジェクト固有のＩＤ情報が挙げられる。端末装置１０の記憶部１２には，各オブジェクトのＩＤ情報に関連付けて，オブジェクトの画像データや説明などの情報が記憶されている。このため，管理装置３０から端末装置１０に対して捕獲の対象となったオブジェクトのＩＤ情報を送信すれば，端末装置１０はそのＩＤ情報に基づいて捕獲したオブジェクトに関連する情報（画像データや説明）を記憶部１２から読み出すことができる。なお，端末装置１０の記憶部１２に記憶されていないオブジェクトに関しては，管理装置３０から端末装置１０に対して，オブジェクトのＩＤ情報に加えて，オブジェクトの画像データや説明に関する情報を配信することとしてもよい。このようにして，端末装置１０のオブジェクト特定部１１ｃは，管理装置３０から受信したオブジェクトのＩＤ情報などに基づいて，自身のカメラで撮影（捕獲）したオブジェクトを特定する（ステップＳ１−１０）。

次に，端末装置１０の処理部１１は，ステップＳ１−１０で特定したオブジェクトに関する情報を出力部１６（ディスプレイ）に表示する（ステップＳ１−１１）。例えば，ユーザが捕獲に成功したオブジェクトの画像や，そのオブジェクトの説明などを表示すればよい。図３（ｂ）に示した例では，ユーザは鹿の動作オブジェクトを捕獲したため，端末装置１０には鹿の画像や，鹿の生態に関するテキスト情報などがディスプレイに表示される。また，端末装置１０の処理部１１は，ステップＳ１−１０で特定したオブジェクトに関する情報を記憶部１２に記憶する（ステップＳ１−１２）。このように，ユーザが捕獲したオブジェクトを端末装置１０に記憶しておくことできる。例えば，ユーザが捕獲したオブジェクトの一覧を図鑑形式で端末装置１０に表示することとしてもよい。

他方で，管理装置３０のオブジェクト制御部３１ｂは，端末装置１０の撮影範囲に含まれるオブジェクトを非表示にするための制御命令を生成して，描画装置４０に送信する。これにより，描画装置４０は，制御命令に従って，端末装置１０によって撮影されたオブジェクトを消すように表示装置５０を制御する（ステップＳ１−１３）。例えば，図３（ｂ）に示されるように，ユーザが鹿の動作オブジェクトＡＯの捕獲（撮影）に成功すると，それに連動してスクリーン６０に投影されている映像から鹿の動作オブジェクトＡＯが消えることとなる。このように，スクリーン６０上の映像をユーザのアクションに連動させることで，よりリアリティのある体験をユーザに提供できる。

次に，管理装置３０の処理部３１は，ユーザの捕獲アクションに関する情報を記憶部３２に記憶する（ステップＳ１−１４）。例えば，端末装置１０固有の端末ＩＤやユーザ固有のユーザＩＤと関連付けて，捕獲に成功したオブジェクトのＩＤ情報や，捕獲時刻，捕獲場所（座標）などを記憶部３２に登録する。これにより，ユーザの行動履歴などを管理装置３０で管理することができる。

続いて，図６から図８を参照して，端末装置１０及び制御装置２０（管理装置３０及び描画装置４０）が行う処理の別例を説明する。ここでは，ユーザが端末装置１０を利用して映像内にオブジェクトを解放する場合の処理について説明する。

図６は，ユーザが一度捕獲に成功した動作オブジェクトを再び解放する例を示している。つまり，図３においてユーザは鹿の動作オブジェクトを捕獲しているが，図６ではこの鹿のオブジェクトを映像内の別の場所に解放している。このように，本システムでは，捕獲に成功したオブジェクトを別の場所に自由に移動させることが可能である。他方で，図７は，ユーザが餌の作用オブジェクトを解放する例を示している。餌の作用オブジェクトは，システムの運営者がユーザに与えたアイテムであってもよいし，ユーザが図４に示したフローに従って映像内から捕獲したアイテムであってもよい。餌の作用オブジェクトを映像内に解放すると，その付近に存在する動作オブジェクトがそれに誘引されるようにプログラムされている。このように，ユーザは，本システムを利用して，動作オブジェクトの捕獲や解放，あるいはその動作オブジェクトへの餌付けなどを体験することができる。

オブジェクトの解放フローでは，まず，ユーザが端末装置１０を操作して解放の対象となるオブジェクト（動作オブジェクト又は作用オブジェクト）を自由に選択する（ステップＳ２−１）。端末装置１０の記憶部１２には，一度ユーザが捕獲したオブジェクトや運営から提供されたオブジェクトが記憶されているため，その中からユーザが任意のオブジェクトを選択する。

ステップＳ２−２からステップＳ２−６は，それぞれ図４に示したステップＳ１−２からステップＳ１−５と同じ処理である。すなわち，ユーザが映像内の撮影範囲を理解しやすいように，端末装置１０の撮影範囲に対応したフレームＦをスクリーン６０に表示する。

次に，端末装置１０の処理部１１は，解放の対象となるオブジェクトが選択された後に，ユーザが操作部１７を介して端末装置１０に解放アクションに関する操作を入力したか否かを判断する（ステップＳ２−７）。解放アクションの例は，捕獲アクションと同様に，表示画面上の特定部位をタッチする操作や音声の入力操作である。解放アクションが入力されない限りは，ステップＳ２−３からステップＳ２−６を繰り返すこととなる。解放アクションが入力されると，カメラのシャッターが切られて撮影画像（静止画）が取得される。その場合，端末装置１０の通信部１３は，端末ＩＤと共に，撮影範囲に関する情報と，撮影位置の位置情報と，解放の対象として選択されたオブジェクトに関する情報（オブジェクトのＩＤ情報等）を管理装置３０に送信する（ステップＳ２−８）。また，このとき，端末装置１０を操作するユーザ固有のユーザＩＤを管理装置３０に送信してもよい。

次に，管理装置３０のオブジェクト制御部３１ａは，端末装置１０から受信した上記情報に基づいて，解放の対象となるオブジェクトと，そのオブジェクトを出現させる映像内の位置（座標）を特定する（ステップＳ２−９）。すなわち，オブジェクト制御部３１は，端末装置１０から受信したオブジェクトのＩＤ情報に基づいて映像内に出現させるオブジェクトを特定するとともに，撮影範囲に関する情報に基づいてそのオブジェクトを出現させる映像内の位置を特定する。また，管理装置３０オブジェクト制御部３１ａは，端末装置１０で選択されたオブジェクトを，端末装置１０の撮影範囲内に出現させるための制御命令を生成して，これを描画装置４０に送信する。描画装置４０は，この制御命令に従って，端末装置１０の撮影範囲内に選択されたオブジェクトを表示するように表示装置５０を制御することとなる（ステップＳ２−１０）。これにより，例えば図６（ｂ）や図７（ｂ）に示されるように，スクリーン６０に投影されている映像には，端末装置１０の撮影範囲内に，ユーザが選択した動作オブジェクトＡＯや作用オブジェクトＩＯが出現するようになる。

次に，管理装置３０の処理部３１は，ユーザの解放アクションに関する情報を記憶部３２に記憶する（ステップＳ２−１１）。例えば，端末装置１０固有の端末ＩＤやユーザ固有のユーザＩＤと関連付けて，開放されたオブジェクトのＩＤ情報や，解放時刻，解放場所（座標）などを記憶部３２に登録しておく。これにより，ユーザの行動履歴などを管理装置３０で管理することができる。また，端末装置１０においても，ユーザの解放アクションに関する情報を記憶部１２に記憶する（ステップＳ２−１２）。例えば，開放されたオブジェクトのＩＤ情報や，解放時刻，解放場所（座標）などが記憶部１２に登録される。これにより，例えば一度解放されたオブジェクトは，次の解放フローでは解放対象として選択できないようになる。また，解放回数の制限があるオブジェクトについては，解放回数のカウントが１つ減ることとなる。

以上のように，本発明のシステムでは，端末装置１０により映像内に含まれるオブジェクトの捕獲や解放が行われると，表示装置５０が連動して映像内からそのオブジェクトが消えたり出現したりするようになる。これにより，本システムによればリアリティのあるインタラクティブな演出を行うことが可能になる。

以上，本願明細書では，本発明の内容を表現するために，図面を参照しながら本発明の実施形態の説明を行った。ただし，本発明は，上記実施形態に限定されるものではなく，本願明細書に記載された事項に基づいて当業者が自明な変更形態や改良形態を包含するものである。

例えば，本願明細書で詳しく説明した実施形態では，管理装置３０にアクセスが集中してボトルネックが発生することを回避するために，端末装置１０側で撮影画像を解析して，映像内の撮影範囲の座標を特定するようにしている。ただし，端末装置１０から管理装置３０に撮影画像を送信するようにすれば，管理装置３０でその撮影画像を解析して映像内の撮影範囲の座標を特定することも可能である。その場合，映像内の座標を特定するためのマップ情報は，端末装置１０の記憶部１２ではなく，管理装置３０の記憶部３２に記憶しておけばよい。

本発明は，例えば，ディジタル図鑑にキャラクタの画像などをコレクションすることができるシステムに適用できる。従って，本発明は，エンターテイメント産業などにおいて好適に利用できる。

１０…端末装置 １１…処理部
１２…記憶部 １３…通信部
１４…撮影部 １５…位置情報取得部
１６…出力部 １７…操作部
２０…制御装置 ３０…管理装置
３１…処理部 ３２…記憶部
３３…通信部 ４０…描画装置
４１…描画部 ４２…記憶部
４３…通信部 ５０…表示装置
６０…スクリーン １００…表示制御システム
ＡＯ…動作オブジェクト ＩＯ…作用オブジェクト
Ｆ…フレーム

Claims (9)

1. 撮影部を有する端末装置と，映像を表示する表示装置と，前記表示装置を制御する制御装置と，を備える表示制御システムであって，
   前記端末装置又は制御装置は，前記撮影部で撮影した撮影画像に基づいて，前記表示装置が表示する映像内における撮影範囲を特定し，
   前記制御装置は，特定された前記撮影範囲に基づいて，前記表示装置を制御する
   表示制御システム。
2. 前記制御装置は，
   所定のオブジェクトを表示するように前記表示装置を制御し，
   特定された前記撮影範囲内に前記オブジェクトが含まれるか否かを判定し，
   前記判定の結果に基づいて，前記表示装置による前記オブジェクトの表示状態を制御する
   請求項１に記載の表示制御システム。
3. 前記制御装置は，特定された前記撮影範囲内に前記オブジェクトが含まれる場合に，前記オブジェクトが非表示になるように前記表示装置を制御する
   請求項２に記載の表示制御システム。
4. 前記制御装置は，特定された前記撮影範囲内に所定のオブジェクトが出現するように前記表示装置を制御する
   請求項１から請求項３のいずれかに記載の表示制御システム。
5. 前記端末装置は，
   前記映像内の座標を特定するためのマップ情報を記憶しており，
   前記マップ情報を参照することにより前記撮影範囲の座標情報を特定し，
   前記撮影範囲の座標情報を前記制御装置に送信する
   請求項１から請求項４のいずれかに記載の表示制御システム。
6. 前記端末装置は，自己の現在位置を特定するための位置情報特定部を更に備え，
   前記端末装置又は制御装置は，前記撮影部で撮影した撮影画像と，前記位置情報特定部で特定した現在位置の情報とに基づいて，前記表示装置が表示する映像内における撮影範囲を特定する
   請求項１から請求項５のいずれかに記載の表示制御システム。
7. 撮影部と，
   所定の映像内の座標を特定するためのマップ情報を記憶した記憶部と，
   前記撮影部で撮影した撮影画像と前記マップ情報に基づいて，前記映像内の前記撮影部による撮影範囲を特定する画像解析部と，
   特定した前記撮影範囲に関する情報を前記映像の表示状態を制御する制御装置に送信する通信部と，を備える
   端末装置。
8. 携帯型情報通信端末を請求項１に記載の前記端末装置として機能させるためのコンピュータプログラム。
9. 端末装置又は制御装置が，前記端末装置の撮影部で撮影した撮影画像に基づいて，表示装置が表示する映像内における撮影範囲を特定する工程と，
   前記制御装置が，特定された前記撮影範囲に基づいて，前記表示装置が表示する映像を制御する工程と，を含む
   表示制御方法。

Images