以下、本発明に係る表示システムの一実施形態について説明する。
図1は、本実施形態に係る表示システムの一例を示す説明図である。
表示システム100は、複数の表示装置としてのプロジェクタ101−1,101−2,101−3と、画像処理装置としての情報端末102と、投写面104を撮像する撮像手段としてのカメラ106とを有する。なお、以下の説明の中で、複数のプロジェクタ101−1〜101−3のうちの任意のプロジェクタを示す場合には、適宜「プロジェクタ101」という。また、複数のプロジェクタ101−1〜101−3の数は一例であって、2台以上の他の数であっても良い。
プロジェクタ101は、表示面である投写面104に投写画像を投写する画像投写装置である。表示システム100は、例えば図1に示すように、プロジェクタ101−1の投写領域103−1と、プロジェクタ101−2の投写領域103−2とが重複する重複領域105−1を有するように配置されている。また、プロジェクタ101−2の投写領域103−2と、プロジェクタ101−3の投写領域103−3とが重複する重複領域105−2を有するように配置されている。つまり、複数のプロジェクタ101−1〜101−3の各々は、隣接するプロジェクタ101と投写領域の少なくとも一部が重複するように配置されている。この配置により、表示システム100は、複数のプロジェクタ101−1〜101−3を用いて、投写面104に所定の画像を投写する。
情報端末102は、例えば、PC(Personal Computer)、スマートフォン等の携帯電話機、タブレット端末などの情報処理装置であり、複数のプロジェクタ101−1〜101−3の間で、アクセスポイント107によって構築される無線LAN(Local Area Network)等の無線通信により、画像データや制御データ等の通信を行うことができる。なお、無線LANは、複数のプロジェクタ101−1〜101−3と、情報端末102との間の無線通信方式の一例である。本実施形態に係る無線通信方式は、例えば、UWB(Ultra Wide Band)等の無線PAN(Personal Area Network)によるものであっても良いし、近距離無線通信によるものであっても良いし、他の無線通信方式によるものであっても良い。また、無線通信に限らず、有線通信であってもよい。
情報端末102は、複数のプロジェクタ101−1〜101−3を用いて、投写面104に、個々のプロジェクタ101の投写領域よりも大きい大画面で所定の画像を投写するマルチプロジェクションの制御を行う。
カメラ106は、例えば、ユーザーの操作等により投写面104に投写された校正用の画像を撮像するための撮像装置である。本実施形態のカメラ106は、図1に示すように、情報端末102に有線接続されているが、単体の撮像装置であっても良いし、情報端末102やプロジェクタ101等に内蔵されたカメラであっても良い。
図2は、本実施形態に係る表示システムの接続操作について説明するための説明図である。
プロジェクタ101−1は、所定の操作(例えば、電源投入、ボタン操作等)に応じて、例えば、図2に示すように、投写面104にプロジェクタ101−1の識別コード201−1を表示する。この識別コード201−1は、情報端末102の表示システム100用のアプリケーションプログラム(以下「制御用アプリ」という。)に入力することにより、情報端末102とプロジェクタ101−1との間の接続を確立するために用いられる。
同様に、プロジェクタ101−2は、前述の所定の操作に応じて、投写面104にプロジェクタ101−2の識別コード201−2を表示する。また、プロジェクタ101−3も、前述の所定の操作に応じて、投写面104にプロジェクタ101−3の識別コード201−3を表示する。
図3は、情報端末102で動作する制御用アプリの接続操作画面202の例を示す説明図である。
接続操作画面202には、プロジェクタの台数を入力するためのPJ(プロジェクタ)台数の入力欄203がある。図2では、複数のプロジェクタ101−1〜101−3は、横に3台並べて配置されているため、PJ台数の入力欄203には、複数のプロジェクタ101−1〜101−3の配置に応じた横「3」、縦「1」のプロジェクタの台数を入力する。
接続操作画面202には、PJ台数の入力欄203に入力されたプロジェクタ101の台数に応じて、識別コードの入力欄204が表示される。図3の例では、識別コードの入力欄204には、PJ台数の入力欄203に入力された、横「3」、縦「1」の値に応じて、プロジェクタ101の識別コードを入力するための3つの入力欄が横方向に3つ並べて表示されている。つまり、識別コードの入力欄204には、複数のプロジェクタ101−1〜101−3の配置に応じた識別コードの入力欄が表示される。
表示システム100のユーザーは、投写面104に表示された複数のプロジェクタ101−1〜101−3の識別コード201−1〜201−3を見ながら、接続操作画面202の識別コードの入力欄204に、各プロジェクタ101の識別コードを入力する。
識別コードの入力欄204に各プロジェクタ101の識別コードを入力した後、ユーザーが、例えば、接続操作画面202の「次へ」ボタンを選択(押下)する。これに応じて、情報端末102の制御用アプリは、識別コードの入力欄204に入力された識別コードを用いて、各プロジェクタ101と通信による接続を確立する。これにより、表示システム100は、複数のプロジェクタ101−1〜101−3と情報端末102との接続を確立し、また、複数のプロジェクタ101−1〜101−3の相対的な位置関係を認識することができる。例えば、情報端末102の制御用アプリは、複数のプロジェクタ101−1〜101−3が、左から、プロジェクタ101−1、プロジェクタ101−2、プロジェクタ101−3の順番に並べられていると認識することができる。
このように、本実施形態に係る表示システム100では、複数のプロジェクタ101−1〜101−3と情報端末102との間の通信の接続と、プロジェクタの相対的な位置関係の設定を容易に行うことができる。つまり、本実施形態に係る表示システム100によれば、複数のプロジェクタ101を用いて投写面104に所定の画像を投写する表示システム100において、複数のプロジェクタ101の配置や、接続等の準備作業を容易に行うことができる。
図4は、本実施形態に係るプロジェクタのハードウェア構成例を示すハードウェア構成図である。
プロジェクタ101は、一般的なコンピュータの構成を含み、例えば、CPU(Central Processing Unit)301、メモリ302、ストレージ部303、無線通信I/F(Interface)304、外部I/F305、光源306、表示素子307、投写レンズ308、モーター309、バス310、センサ313等を有する。
CPU301は、メモリ302やストレージ部303等からプログラムやデータを読出し、処理を実行することでプロジェクタ101が備える各機能を実現する演算装置である。メモリ302は、例えば、CPU301のワークエリア等として使用されるRAM(Random Access Memory)や、プロジェクタ101の起動プログラム等を格納するROM(Read Only Memory)等を含む。
ストレージ部303は、プロジェクタ101のプログラムや画像データ等を記憶する記憶手段であり、例えば、SSD(Solid State Drive)やHDD(Hard Disk Drive)等を含む。
無線通信I/F304は、情報端末102や、他のプロジェクタ101等と通信を行うためのインタフェースであり、例えば、無線LAN、無線PAN、近距離無線通信等による無線通信を実現する無線通信部を含む。
外部I/F305は、外部装置を接続するためのインタフェースである。外部装置には、例えば、USB(Universal Serial Bus)メモリ、メモリカード、光学ディスク等の記録媒体や、情報端末102及び他のプロジェクタ101等が含まれる。
光源306は、プロジェクタ101が画像を投写するための光の発生源であり、例えば、ランプ、レーザー、LED(Light Emitting Diode)等の光源を含む。
表示素子307は、投写画像を生成するデバイスであり、例えば、DMD(Digital Mirror Device)311、カラーホイール312等を含む。DMD311は、多数の微小鏡面(マイクロミラー)を平面に配置した表示素子である。カラーホイール312は、例えば、赤青、緑の3色に色分けされた円板等を高速で回転させ、透過させることにより色づけを行う。
光源306から出た光は、投写対象の画像によって、画素毎にその向きが制御されるDMD311で反射し、カラーホイール312で色づけし、投写レンズ308を通して投写面104に画像として投写される。モーター309は、投写レンズ308を駆動するモーターで、ズーム、フォーカス等の調整を行う。なお、DMD311及びカラーホイール312は、表示素子307の一例である。表示素子307は、例えば、LCD(Liquid Crystal Display)等の他の表示素子であっても良い。
バス310は、前記各構成に接続され、アドレス信号、データ信号、各種制御信号等を伝達する。
センサ313は、プロジェクタ101の動きを検知する動き検知手段であり、加速度センサ、ジャイロなど、プロジェクタ101の移動、姿勢変化などの動きが検知可能なものを用いることができる。
センサ313の検知結果は、当該プロジェクタ自らが表示する画像の投写面104上での表示状態が変更される表示状態変更条件が満たされたか否かを判断するために用いられる。したがって、この表示状態変更条件が満たされたか否かの判断に有用な検知結果が得られるものであれば、動き検知手段に限られない。例えば、当該プロジェクタが動かなくても、投写面104が動いてしまうと、当該プロジェクタ自らが表示する画像の投写面104上での表示状態が変更されるので、投写面104の動き等を検知するもの(例えば、投写面104を撮像する撮像手段)を用いることもできる。
図5は、本実施形態に係る情報端末のハードウェア構成例を示すハードウェア構成図である。
情報端末102は、一般的なコンピュータの構成を有しており、例えば、CPU401、RAM402、ROM403、ストレージ部404、通信I/F部405、外部I/F部406、表示部407、入力部408、バス409等を有する。
CPU401は、ROM403やストレージ部404等からプログラムやデータをRAM402上に読み出し、処理を実行する演算装置である。RAM402は、CPU401のワークエリア等として用いられる揮発性のメモリである。ROM403は、例えば、情報端末102の起動時に実行されるBIOS(Basic Input / Output System)や、各種の設定等を記憶する不揮発性のメモリであり、例えば、フラッシュROM等で構成される。
ストレージ部404は、例えば、OS(Operating System)、アプリケーションプログラム、各種データ等を記憶する不揮発性の記憶装置であり、例えば、HDD、SSD等で構成される。
通信I/F部405は、情報端末102を複数のプロジェクタ101−1〜101−3と通信により接続するためのインタフェースあり、例えば、無線LANインタフェース等の無線通信インタフェースである。また、別の一例として、通信I/F部405は、例えば、有線LANのインタフェース等であっても良い。この場合、情報端末102が接続される有線LANに無線LANのアクセスポイント107を接続することで、複数のプロジェクタ101−1〜101−3との通信を確立することができる。あるいは、複数のプロジェクタ101−1〜101−3に有線LANのインタフェースが備わっている場合には、複数のプロジェクタ101−1〜101−3を有線LANに直接接続しても良い。この場合、情報端末102と複数のプロジェクタ101−1〜101−3との間は有線接続となる。
外部I/F部406は、外部装置を接続するためのインタフェースである。外部装置には、例えば、USBメモリ、メモリカード、光学ディスク等の記録媒体410や、カメラ106及びプロジェクタ101等が含まれる。
表示部407は、情報端末102による処理結果等を表示する、例えば、液晶ディスプレイ(LCD)等の表示装置である。入力部408は、情報端末102へのユーザーの操作を受付けるための、例えば、キーボード、マウス、タッチパネル等の入力装置である。なお、表示部407と入力部408とは、表示装置と入力装置とが一体化された、例えば、タッチパネルディスプレイ等の表示入力部であっても良い。バス409は、前記各構成に接続され、アドレス信号、データ信号、及び各種制御信号等を伝達する。
図6は、本実施形態に係るカメラ106のハードウェア構成例を示すハードウェア構成図である。
カメラ106は、一般的なコンピュータの構成を含み、例えば、CPU501、メモリ502、通信I/F部503、外部I/F部504、撮像レンズ505、撮像素子506、表示部507、操作部508、バス509等を有する。
CPU501は、メモリ502等からプログラムやデータを読出し、処理を実行することでカメラ106が備える各機能を実現する演算装置である。メモリ502は、例えば、CPU501のワークエリア等として使用されるRAMや、カメラ106のプログラムや、データ等を格納するフラッシュROM等を含む。通信I/F部503は、撮像した画像データ等を情報端末102に送信するための、例えばUSB等の通信部である。例えば、ユーザーは、カメラ106で撮像した画像データを、通信I/F部503に情報端末102の外部I/F部406を接続することにより、画像データの受け渡しをすることができる。
外部I/F部504は、外部装置を接続するためのインタフェースである。外部装置には、例えば、USBメモリ、メモリカード、光学ディスク等の記録媒体410等が含まれる。例えば、カメラ106が単体の撮像装置である場合、ユーザーは、カメラ106で撮像した画像データを、外部I/F部504に接続されたメモリカード等に格納し、画像データを格納したメモリカード等を情報端末102の外部I/F部406に接続することにより、画像データの受け渡しをすることができる。
表示部507は、例えば、画像の撮像時に、撮像対象物(投写面104等)を表示したり、撮像された画像のプレビュー画面を表示したりする表示装置である。操作部508は、カメラ106へのユーザーの操作を受け付けるためのボタンや、タッチパネル等の入力装置である。なお、表示部507と操作部508とは、表示装置と入力装置とが一体化された、タッチパネルディスプレイ等の表示入力部であっても良い。バス509は、前記各構成に接続され、アドレス信号、データ信号、及び各種制御信号等を伝達する。
図7は、本実施形態に係る表示システムの機能ブロック図である。
プロジェクタ101は、無線通信手段601、接続情報表示手段602、投写手段603、記憶手段604、接続情報管理手段605、判断手段616、画像削除手段617等を有する。なお、図7において、プロジェクタ101−2,101−3は、プロジェクタ101−1と同様の構成を有しているものとする。
無線通信手段601は、プロジェクタ101が投写面104に投写する画像データを情報端末102から受信するための手段であり、例えば、図4の無線通信I/F304等によって実現される。また、無線通信手段601は、情報端末102や、他のプロジェクタ101等と制御データ等の各種情報やデータの送受信も行うこともできる。
接続情報表示手段602は、プロジェクタ101の無線通信手段601に接続するための識別コード201−1〜201−3等を表示する手段であり、例えば、図4のCPU301で動作するプログラムによって実現させる。接続情報表示手段602は、ユーザーによる所定の操作(例えば、電源投入、ボタン操作等)や、情報端末102からの要求等に応じて、例えば、投写手段603により投写面104等に識別コード201−1〜201−3等の予め定められた接続情報を表示する。
なお、識別コード201−1〜201−3は、接続情報の一例である。接続情報は、複数のプロジェクタ101−1〜101−3ごとに異なる情報であり、情報端末102に入力することにより、情報端末102と各プロジェクタ101との間の通信を確立することができるものであれば、他の形式であっても良い。例えば、接続情報は、図2に示す識別コード201−1〜201−3のような数字の他にも、文字、又は数字と文字の組み合わせ等、ユーザーによる読取や入力が容易な任意の文字又は文字列(IPアドレスなど)等であっても良い。あるいは、接続情報は、絵や画像を用いて、一致する絵や画像を選択するようなものであっても良い。
投写手段603は、画像を投写面104等に投写する手段であり、例えば、図4の光源306、表示素子307、投写レンズ308、モーター309等、及びCPU301で動作するプログラム等によって実現される。
記憶手段604は、投写手段603が投写する画像データ、接続情報表示手段602が表示する識別コード、プロジェクタ101の設定情報等の各種データを記憶する手段であり、例えば、図4のメモリ302や、ストレージ部303等によって実現される。
接続情報管理手段605は、接続情報表示手段602が表示する識別コード等の接続情報を管理する手段であり、例えば、図4のCPU301で動作するプログラム等によって実現される。接続情報管理手段605は、例えば、接続情報表示手段602が表示する識別コード等の接続情報を生成して、記憶手段604への記憶や、他の機器への通知等の管理を行う。また、接続情報管理手段605は、情報端末102からの無線通信手段601への接続要求に含まれる接続情報と、記憶手段604に記憶された接続情報とを照合し、接続情報が一致した場合、情報端末102の無線通信手段601への接続を許可する。
好ましくは、接続情報管理手段605は、プロジェクタ101の接続情報が、他のプロジェクタ101の接続情報と重複しないように管理する機能を持たせるのがよい。例えば、接続情報管理手段605は、ユーザーの操作や、情報端末102等からの要求に応じて、新たな接続情報を生成する。あるいは、接続情報管理手段605は、他のプロジェクタ101の接続情報管理手段605と通信を行い、接続情報が互いに重複しないように事前に調整を行うもの等であっても良い。
判断手段616は、当該プロジェクタ自らが表示する画像の投写面104上での表示状態が変更される表示状態変更条件が満たされたか否かを判断する判断部であり、例えば、図4のセンサ313やCPU301で動作するプログラム等によって実現される。本実施形態における判断手段616は、センサ313が当該プロジェクタ101の移動、姿勢変化などの動きを検知したときに表示状態変更条件が満たされたと判断する。当該プロジェクタ101が移動したり、姿勢が変化したりすると、当該プロジェクタが表示する画像の投写面104上での表示状態(位置や大きさ等)が変更されるので、センサ313の検知結果は表示状態変更条件の判断に用いることができる。
画像削除手段617は、判断手段616により表示状態変更条件が満たされたと判断されたときに、記憶手段604に記憶されている画像データを削除するものであり、例えば、図4のCPU301で動作するプログラム等によって実現される。また、画像削除手段617は、表示状態変更条件が満たされたと判断されたとき、その判断結果を、無線通信手段601により他のプロジェクタ101へ通知する処理も行う。また、画像削除手段617は、無線通信手段601により、表示状態変更条件が満たされたとの判断結果を示す通知を他のプロジェクタ101から受けたときに、記憶手段604に記憶されている画像データを削除する処理も行う。
このような構成により、複数のプロジェクタ101−1〜101−3のうちの少なくとも1つのプロジェクタ(例えば左側のプロジェクタ101−1)の判断手段616によって表示状態変更条件が満たされたと判断された場合、まず、当該左側のプロジェクタ101−1の記憶手段604に記憶されている画像データが削除される。更に、その判断結果が他のプロジェクタ101−2,101−3に通知されて、他のプロジェクタ101−2,101−3の記憶手段604に記憶されている画像データも削除される。その結果、少なくとも1つのプロジェクタ101−1の判断手段616によって表示状態変更条件が満たされたと判断された場合には、すべてのプロジェクタ101−1〜101−3の記憶手段604に記憶されている画像データが削除される。
情報端末102は、表示制御手段606、表示入力手段607、通信制御手段608、通信手段609、投写制御手段610、記憶手段611、取得手段612、接続情報管理手段613等を有する。
表示制御手段606は、複数のプロジェクタ101−1〜101−3の配置に応じた識別コード(接続情報)の入力欄を表示入力手段607に表示させる手段であり、例えば、図5のCPU401で動作するプログラム(制御アプリ等)によって実現される。
表示入力手段607は、表示制御手段606の制御により、複数のプロジェクタ101−1〜101−3の配置に応じた識別コードの入力欄を表示し、ユーザーによる識別コードの入力を受付ける。表示入力手段607は、例えば、図5の表示部407や入力部408等によって実現される。
例えば、表示制御手段606は、表示入力手段607に、図3に示す接続操作画面202等を表示させ、ユーザーによって接続操作画面202のPJ台数の入力欄203に入力されたプロジェクタの台数(台数情報)に応じて、識別コードの入力欄204を表示させる。これにより、情報端末102の接続操作画面202には、複数のプロジェクタ101−1〜101−3の配置に応じた、識別コードの入力欄204が表示される。
通信制御手段608は、表示制御手段606が表示させた識別コードの入力欄204等に入力された識別情報(接続情報)を用いて、複数のプロジェクタ101−1〜101−3の無線通信手段601とそれぞれ通信を確立する。通信制御手段608は、例えば、図5のCPU401で動作するプログラム(制御アプリ等)によって実現される。例えば、通信制御手段608は、通信手段609を用いて、複数のプロジェクタ101−1〜101−3に、識別コードの入力欄204に入力された識別コードを含む接続要求を送信することにより、各プロジェクタ101の無線通信手段601への接続を要求する。
通信手段609は、複数のプロジェクタ101−1〜101−3の無線通信手段601と接続して、情報端末102と複数のプロジェクタ101−1〜101−3との間のデータ通信を行うための手段である。通信手段609は、例えば、図5の通信I/F部405等によって実現される。通信手段609は、例えば、無線LAN等の無線通信によってプロジェクタ101の無線通信手段601とデータ通信を行う。
投写制御手段610は、複数のプロジェクタ101−1〜101−3を用いて、投写面104に所定の画像を投写するための各種制御を行う。投写制御手段610は、例えば、図5のCPU401で動作するプログラム(制御アプリ等)によって実現される。
記憶手段611は、例えば、複数のプロジェクタ101−1〜101−3の校正を行うための校正画像データや投写対象となるコンテンツデータ等を記憶する手段であり、例えば、図5のRAM402、ROM403、ストレージ部404等により実現される。
図8は、本実施形態に係る投写制御手段及び記憶手段の構成例を示すブロック図である。
図8において、投写制御手段610は、校正画像投写手段701、パラメータ算出手段702、画像処理手段703等を含む。
校正画像投写手段701は、複数のプロジェクタ101−1〜101−3の校正を行うための校正画像を、複数のプロジェクタ101−1〜101−3を用いて投写面104に投写させる。このとき、投写させる画像データは、例えば、記憶手段611に校正画像データ705として記憶されている。校正画像投写手段701が投写面104に複数のプロジェクタ101−1〜101−3を用いて投写させた校正画像は、例えば、ユーザーによってカメラ106で撮像される。また、撮像された画像データは、取得手段612によって取得され、例えば、記憶手段611に撮像データ706として記憶される。
パラメータ算出手段702は、例えば、記憶手段611に記憶された撮像データ706に基づいて、複数のプロジェクタ101−1〜101−3の各々が投写する画像の画像処理のパラメータを算出する。
画像処理手段703は、パラメータ算出手段702によって算出された複数のプロジェクタ101−1〜101−3の各々が投写する画像の画像処理パラメータに基づいて、投写対象となるコンテンツの画像データを画像処理する。投写対象となるコンテンツの画像データは、例えば、記憶手段611にコンテンツデータ707として記憶されている。なお、コンテンツデータ707は、ネットワーク上のサーバ等に記憶されているものであっても良いし、外部機器から入力されるもの等であっても良い。また、画像処理手段703による画像処理後の画像データは、投写画像データ709として記憶手段611に記憶される。
記憶手段611に記憶された機器情報708は、例えば、複数のプロジェクタ101−1〜101−3等の接続情報(識別コード等)と、宛先情報(IPアドレス、MACアドレス等)と、相対的な位置関係とを、互いに対応づけて記憶した情報である。接続情報は、例えば、図2に示すような識別コード201−1〜201−3等に相当する情報である。宛先情報は、各プロジェクタ101のIPアドレスやMACアドレス等、各プロジェクタ101のアドレス(宛先)等を示す情報である。また、機器情報708は、例えば、機器IDを含んでもよい。機器IDは、各プロジェクタ101の名前、MACアドレス、製造番号などのように、機器に固有の情報である。
このように、情報端末102は、各プロジェクタ101の接続情報と宛先情報との対応関係を、記憶手段611に機器情報708等として予め記憶しておくと良い。これにより、通信制御手段608は、この機器情報708を用いて、接続操作画面202の識別コードの入力欄204に入力された識別コードに基づいて、複数のプロジェクタ101−1〜101−3に接続を要求することができる。
相対位置は、複数のプロジェクタ101−1〜101−3の相対的な位置関係を示す情報であり、例えば、図3の接続操作画面202の識別コードの入力欄204に入力された識別コードに基づいて、表示制御手段606等によって設定される。これにより、投写制御手段610は、この機器情報708を用いて、複数のプロジェクタ101−1〜101−3の相対的な位置関係を判断することができる。
取得手段612は、図8に示す校正画像投写手段701によって投写面104に投写された校正用画像の撮像データを取得する手段であり、例えば、図5に示す外部I/F部406及びCPU401で動作するプログラム等によって実現される。例えば、取得手段612は、カメラ106で撮像された校正用画像の撮像データを、USBケーブルを介して取得する。あるいは、取得手段612は、メモリカード等の記録媒体410を用いて、カメラ106から校正用画像の撮像データを取得するものであっても良い。
接続情報管理手段613は、例えば、前記機器情報708に含まれる各プロジェクタの接続情報を管理する。例えば、接続情報管理手段613は、複数のプロジェクタ101−1〜101−3から、接続情報(識別コード等)が通知された場合、通知された接続情報と宛先情報とを対応づけて機器情報708に記憶する。また、接続情報管理手段613は、複数のプロジェクタ101−1〜101−3の接続情報のうち、重複する接続情報がある場合、重複する接続情報を有するプロジェクタ101の少なくとも1つに接続情報(識別コード)の更新を要求する。識別コードが重複した場合には、IPアドレスなどの他の接続情報を表示させるようにしてもよい。
前記構成により、情報端末102は、例えば、図3の接続操作画面202を表示入力手段607に表示させ、ユーザーにPJ台数の入力欄203への入力を促す。また、情報端末102は、入力されたPJ台数に基づいて、複数のプロジェクタ101−1〜101−3の配置に応じた識別コードの入力欄204を表示入力手段607に表示させる。
接続操作画面202の識別コードの入力欄204に識別コードが入力されると、情報端末102は、入力された識別コードに基づいて、複数のプロジェクタ101−1〜101−3のそれぞれと通信を確立する。また、情報端末102は、識別コードの入力欄204に入力された識別コードに基づいて、各プロジェクタ101の相対的な位置関係を判断して、複数のプロジェクタ101−1〜101−3による画像の投写を制御する。
カメラ106は、図7に示すように、例えば、撮像手段614、記憶手段615等を有する。撮像手段614は、投写面104に投写された校正用画像等を撮像する手段であり、例えば、図6の撮像レンズ505、撮像素子506、及びCPU501で動作するプログラム等によって実現される。記憶手段615は、撮像手段614によって撮像された校正用画像等の撮像データを記憶する手段であり、例えば、図6のメモリ502や、外部I/F部504に接続された記録媒体410等によって実現される。
図9は、本実施形態に係る表示システムの接続処理のシーケンスフロー図である。
なお、図9において、破線の矢印は、ユーザーによる操作等を示すものとする。また、図9のシーケンスフロー図の開始時点において、情報端末102では制御アプリが起動されており、図3に示すような接続操作画面202が表示されているものとする。
ユーザーは、例えば、図2に示すように複数のプロジェクタ101−1〜101−3の各々を配置する(S801〜S803)。そして、ユーザーがプロジェクタ101−1の電源を投入すると(S804)、プロジェクタ101−1は、識別コード1(例えば、図2の識別コード201−1)を投写面104に表示(投写)する(S805)。同様に、ユーザーがプロジェクタ101−2の電源を投入すると(S806)、プロジェクタ101−2は、識別コード2(例えば、図2の識別コード201−2)を投写面104に表示する(S807)。また、ユーザーがプロジェクタ101−3の電源を投入すると(S808)、プロジェクタ101−3は、識別コード3(例えば、図2の識別コード201−3)を投写面104に表示する(S809)。
続いて、ユーザーが、情報端末102に表示された接続操作画面202のPJ台数の入力欄203にプロジェクタの台数(投写台数)を入力すると(S810)、情報端末102は、識別コードの入力欄204を表示する(S811)。ユーザーは、投写面104に投写された識別コード、例えば、図2の識別コード201−1〜201−3を見ながら、情報端末102の識別コードの入力欄204に、各プロジェクタ101の識別コードを入力する(S812)。
情報端末102は、識別コードの入力欄204に入力された識別コードを用いて、各プロジェクタ101に接続を要求する。例えば、情報端末102は、識別コードを含む接続要求をプロジェクタ101−1に送信する(S813)。情報端末102から接続要求を受信したプロジェクタ101−1は、接続要求に含まれる識別コードをプロジェクタ101−1の識別コードと照合し、識別コードが一致した場合、情報端末102に接続の許可を示す接続応答を送信する(S814)。これにより、情報端末102とプロジェクタ101−1との間の通信が確立され、情報端末102からプロジェクタ101−1へ投写画像等の送信が可能となる(S815)。
同様に、情報端末102は、識別コード2を含む接続要求をプロジェクタ101−2に送信する(S816)。情報端末102から接続要求を受信したプロジェクタ101−2は、接続要求に含まれる識別コードをプロジェクタ101−2の識別コードと照合し、識別コードが一致した場合、情報端末102に接続の許可を示す接続応答を送信する(S817)。これにより、情報端末102とプロジェクタ101−2との間の通信が確立する(S818)。
また、情報端末102は、識別コード3を含む接続要求をプロジェクタ101−3に送信する(S819)。情報端末102から接続要求を受信したプロジェクタ101−3は、接続要求に含まれる識別コードをプロジェクタ101−3の識別コードと照合し、識別コードが一致した場合、情報端末102に接続の許可を示す接続応答を送信する(S820)。これにより、情報端末102とプロジェクタ101−3との間の通信が確立する(S821)。
このように、本実施形態に係る表示システム100では、複数のプロジェクタ101−1〜101−3の各々が投写した識別コードを、情報端末102の識別コードの入力欄204に入力するだけで、自動的に各プロジェクタ101との接続処理が行われる。
図10は、本実施形態に係る校正用画像の撮像処理のシーケンスフロー図である。
例えば、図9の接続処理が完了した後、引き続き校正用画像の撮像処理が行われる。
情報端末102は、校正用画像1をプロジェクタ101−1へ送信し(S901)、プロジェクタ101−1は、情報端末102から送信された校正用画像1を投写面104に投写する(S902)。また、情報端末102は、校正用画像2をプロジェクタ101−2へ送信し(S903)、プロジェクタ101−2は、情報端末102から送信された校正用画像2を投写面104に投写する(S904)。このとき、投写面104に投写される画像の例を図11に示す。
校正用の画像の一例として、図11の投写領域103−1に投写されているように、校正用画像の四隅に設けられた位置合わせ矩形パターン1001と、格子状に配置された複数のドットパターン1002とを含む第一校正用画像を用いる。または、図11の投写領域103−2に投写されているように、校正用画像の四隅に設けられた矩形パターン1001のみを含む第二校正用画像を用いる。
格子状のドットパターン1002は、プロジェクタ101の投写画像の座標に対応しており、投写面104に投写されたドットパターン1002を撮像することにより、投写面104に投写された画像の台形歪や局所的な歪などを検出することができる。
位置合わせ矩形パターン1001は、校正用画像が投写された投写面104の撮像データ間の位置合わせを行うためのパターンであり、第一校正用画像と第二校正用画像は、同じ位置に位置合わせ矩形パターン1001が設けられている。
なお、位置合わせ矩形パターン1001及び格子状のドットパターン1002を含む第一校正用画像と、位置合わせ矩形パターン1001を含む第二校正用画像は、校正用画像の一例である。例えば、校正用画像は、投写対象となる画像を用いるものであっても良いし、位置合わせ矩形パターン1001を含まない格子状のドットパターン1002のみを含む画像等であっても良い。
図10に示すステップS905において、情報端末102は、例えば、所定の撮像メッセージ画面を表示し、ユーザーに投写面104に投写された校正用画像を撮像するように促す。ユーザーは、撮像メッセージ画面に従って、プロジェクタ101−1の投写領域103−1と、プロジェクタ101−2の投写領域103−2の両方が収まるように、カメラ106で投写面104の撮像操作を行う(S906)。カメラ106は、投写面104を撮像し、撮像された画像データ(画像1)を記憶手段615に保存する。ユーザーは、撮像を終えると、例えば、撮像メッセージ画面に従って完了操作を行い、情報端末102に撮像が完了したことを通知する(S908)。
続いて、ステップS909において、情報端末102は、校正用画像3をプロジェクタ101−1へ送信し、プロジェクタ101−1は、情報端末102から送信された校正用画像3を投写面104に投写する(S910)。また、情報端末102は、校正用画像4をプロジェクタ101−2へ送信し(S911)、プロジェクタ101−2は、情報端末102から送信された校正用画像4を投写面104に投写する(S912)。このとき、投写面104に投写される画像の例を図12に示す。
図12に示すように、プロジェクタ101−1が投写する校正用画像3には、前述の校正用画像の四隅に設けられた矩形パターン1001のみを含む第二校正用画像が用いられる。また、プロジェクタ101−2が投写する校正用画像4には、前述の校正用画像の四隅に設けられた位置合わせ矩形パターン1001と格子状の複数のドットパターン1002とを含む第一校正用画像が用いられる。
ステップS913において、情報端末102は、例えば、所定の撮像メッセージ画面を表示し、ユーザーに投写面104に投写された校正用画像の撮像を促す。ユーザーは、このメッセージ画面に従って、プロジェクタ101−1の投写領域103−1と、プロジェクタ101−2の投写領域103−2の両方が収まるように、カメラ106で投写面104の撮像操作を行う(S914)。カメラ106は、投写面104を撮像した画像データ(画像2)を記憶手段615に保存する(S915)。ユーザーは、撮像を終えると、例えば、撮像メッセージ画面に従って完了操作を行い、情報端末102に撮像が完了したことを通知する(S916)。
続いて、ステップS917において、情報端末102は、校正用画像5をプロジェクタ101−2へ送信し、プロジェクタ101−2は、情報端末102から送信された校正用画像5を投写面104に投写する(S918)。また、情報端末102は、校正用画像6をプロジェクタ101−3へ送信し(S919)、プロジェクタ101−3は、情報端末102から送信された校正用画像6を投写面104に投写する(S920)。このとき、投写面104に投写される画像の例を図13に示す。
図13に示すように、プロジェクタ101−2が投写する校正用画像5には、前述の校正用画像の四隅に設けられた位置合わせ矩形パターン1001と格子状の複数のドットパターン1002とを含む第一校正用画像が用いられる。また、プロジェクタ101−3が投写する校正用画像6には、前述の校正用画像の四隅に設けられた矩形パターン1001のみを含む第二校正用画像が用いられる。
ステップS921において、情報端末102は、例えば、所定の撮像メッセージ画面を表示し、ユーザーに投写面104に投写された校正用画像の撮像を促す。ユーザーは、このメッセージに従って、プロジェクタ101−2の投写領域103−2と、プロジェクタ101−3の投写領域103−3の両方が収まるように、カメラ106で投写面104の撮像操作を行う(S922)。カメラ106は、投写面104を撮像した画像データ(画像3)を記憶手段615に保存する(S923)。ユーザーは、撮像を終えると、例えば、撮像メッセージ画面に従って完了操作を行い、情報端末102に撮像が完了したことを通知する(S924)。
続いて、ステップS925において、情報端末102は、校正用画像7をプロジェクタ101−2へ送信し、プロジェクタ101−2は、情報端末102から送信された校正用画像7を投写面104に投写する(S926)。また、情報端末102は、校正用画像8をプロジェクタ101−3へ送信し(S927)、プロジェクタ101−3は、情報端末102から送信された校正用画像8を投写面104に投写する(S928)。このとき、投写面104に投写される画像の例を図14に示す。
図14に示すように、プロジェクタ101−2が投写する校正用画像7には、前述の校正用画像の四隅に設けられた矩形パターン1001のみを含む第二校正用画像が用いられる。また、プロジェクタ101−3が投写する校正用画像8には、前述の校正用画像の四隅に設けられた位置合わせ矩形パターン1001と格子状の複数のドットパターン1002とを含む第一校正用画像が用いられる。
ステップS929において、情報端末102は、例えば、所定の撮像メッセージ画面を表示し、ユーザーに投写面104に投写された校正用画像の撮像を促す。ユーザーは、このメッセージ画面に従って、プロジェクタ101−2の投写領域103−2と、プロジェクタ101−3の投写領域103−3の両方が収まるように、カメラ106で投写面104の撮像操作を行う(S930)。カメラ106は、投写面104を撮像した画像データ(画像4)を記憶手段615に保存する(S931)。ユーザーは、撮像を終えると、例えば、撮像メッセージ画面に従って完了操作を行い、情報端末102に撮像が完了したことを通知する(S932)。
ステップS933において、情報端末102は、画像1〜4の撮像が完了したと判断し、カメラ106から、ステップS901〜ステップS932で撮像された画像1〜4を取得する処理を行う。
次に、情報端末102は、図10の撮像処理で取得した撮像画像1〜4を用いて、複数のプロジェクタ101−1〜101−3の各々が投写する画像を生成し、複数のプロジェクタ101−1〜101−3に配信する。複数のプロジェクタ101−1〜101−3が、情報端末102から配信された画像をそれぞれ投写面104に投写させることにより、個々のプロジェクタ101−1〜101−3の投写画面よりも大きい大画面に画像を投写するマルチ投写が行われる。
図15は、取得した撮像画像1〜4を用いて、複数のプロジェクタ101−1〜101−3の各々が投写する画像の画像処理のパラメータを算出する処理の一例を示すフローチャートである。
この処理では、画像処理のパラメータとしての幾何補正係数およびブレンディング係数の計算を行う。まず、図10の撮像処理で取得した撮像画像1〜4から、個々の画像座標系における各プロジェクタ101の投写画像上の複数のドットパターン1002の重心座標を格子点座標(小数点精度)として抽出する(S1001)。複数のドットパターン1002の重心座標は、例えば、画像を2値化し、白画素(ドットパターン1002に対応する画素)のかたまりをパターンマッチングなどで切り出し、その重心座標を求めることによって計算することができる。
また、図10の撮像処理で取得した撮像画像1〜4から、個々の画像座標系における各プロジェクタ101の投写画像上の四隅の矩形パターン1001の重心座標を位置合わせ点座標として抽出する(S1002)。矩形パターン1001の重心座標も同様に、例えば、画像を2値化し、白画素(矩形パターン1001に対応する画素)のかたまりをパターンマッチングなどで切り出し、その重心座標を求めることによって計算することができる。
次に、所定の撮像画像1〜4の対について、撮像画像間で共通する矩形パターン1001の位置合わせ点座標に基づき、射影変換係数を計算する(S1003)。そして、ステップS1003で計算された射影変換係数に基づき、各プロジェクタ101の投写画像の格子点座標を、共通座標系に変換し、統合する(S1004)。
具体的には、撮像画像1と撮像画像2の対について、撮像画像間で共通する矩形パターン1001の位置合わせ点座標の対が求められるので、この位置合わせ点座標の対に基づき、撮像画像2の座標系から撮像画像1の座標系へ変換する射影変換の係数を計算する。同様にして、他の撮像画像についても、撮像画像1の座標系へ変換する射影変換の係数を計算し、すべてのプロジェクタ101−1〜101−3の格子点座標が、撮像画像1の座標系である共通座標系に変換され、統合される。
射影変換の変換式は、下記式(1)で表され、下記式(1)の分母を払って整理すると、下記式(2)で表す一次多項式に展開することができる。
前記式(1)および(2)中、x、yは、変換前の平面座標を表し、u、vは、変換後の平面座標を表し、a〜hの8つの係数は、射影変換係数を表す。前記式において、未知パラメータである8つの射影変換係数を算出するためには、最低でも8個の連立方程式を要するが、上述した対の校正用撮像画像における4つの位置合わせの対応点があれば、8個の変換式を生成することができる。この4つの対応点から生成された8つの連立方程式を解くことにより、射影変換係数a〜hを求めることができる。
次に、各プロジェクタ101について、共通座標系上に変換および統合された格子点座標を線形に外挿し、投写可能領域の外周座標を計算する(S1005)。共通座標系における各プロジェクタの投写可能領域に対応する外周画素の座標(4隅および4辺上の格子点)は、外周部に位置する各4つの格子点座標から線形に外挿することによって計算することができる。同様に、外周座標(4隅および4辺上の格子点)以外の任意の座標点に対応する共通座標系上の点も、近傍の4点の格子点座標を線形に内挿または外挿して求めることができる。上述した線形的な外挿をプロジェクタ毎に行うことにより、3つのプロジェクタ101−1〜101−3の投写可能領域(つまり全面白画像を投写して映る範囲)が共通座標系上で検出される。
次に、共通座標系において、すべてのプロジェクタ101−1〜101−3の投写可能領域の論理和(OR)を求めて、コンテンツ画像をマップするための補正後投写目標領域を前記論理和の領域内に設定する(S1006)。補正後投写目標領域は、コンテンツ画像を、そのアスペクト比を保って、すべてのプロジェクタ101−1〜101−3の投写可能領域の論理和となる領域内に最大の大きさでマップするように設定される。
共通座標系上で各投写可能領域の4隅の点が既知であり、これらを結ぶ4つの辺(上辺、下辺、左辺、右辺)も、それぞれ格子点幅で線形区分された形で求まり、それらの存在範囲も把握される。したがって、共通座標系上での3つのプロジェクタ101−1〜101−3の投写可能領域の上辺と下辺とで挟まれた範囲、同じく左辺と右辺とで挟まれた範囲に、3つの論理和の領域内に取り得る矩形範囲が定まる。そして、この補正後投写目標領域に、投写すべきコンテンツ画像がマップされることになる。
ステップS1007〜ステップS1011の処理は、プロジェクタ毎に実行され、各プロジェクタの幾何補正係数及びブレンディング係数を求める。ステップS1007では、共通座標系上の格子点座標を、元のコンテンツ画像の座標系に変換する。以下、共通座標系上で補正後投写目標領域にマップされるコンテンツ画像を「投写コンテンツ画像」といい、その元となるオリジナルのコンテンツ画像を「等倍コンテンツ画像」という。
ステップS1008では、プロジェクタ101のメモリ302上における格子点座標を、共通座標系を経由して、等倍コンテンツ画像の座標系の画素位置に対応付ける。ステップS1009では、メモリ302上の整数画素座標を、共通座標系を経由して、等倍コンテンツ画像の座標系の画素位置へ線形補間により対応付ける。ステップS1007〜ステップS1009で示す各処理で計算される幾何補正係数は、メモリ302上の各座標を、投写コンテンツ画像上の位置に対応する等倍コンテンツ画像上の画素位置に対応付けるものである。
すべてのプロジェクタ101−1〜101−3について、メモリ302上の整数画素座標と等倍コンテンツ画像の座標系との対応付けが完了すると、画像処理のパラメータ算出処理を終了する。これにより、すべてのプロジェクタ101−1〜101−3それぞれのための幾何補正係数が準備される。
なお、本実施形態では、幾何補正係数として、メモリ302上の全画素に対する等倍コンテンツ画像上での対応する画素位置を求めているが、これに限定されるものではない。例えば、メモリ302上の各格子点に対する等倍コンテンツ画像上での画素位置を幾何補正係数として求め、格子点以外の座標については四辺形パッチ毎に射影変換あるいは線形変換することにより計算する態様としてもよい。
また、ステップS1009では、プロジェクタ間における重複領域を補正するためのブレンディング係数を計算する。そして、ステップS1010では、計算されたプロジェクタ毎の幾何補正係数およびブレンディング係数を設定する。なお、このようにして幾何補正係数およびブレンディング係数等のパラメータの設定が完了したら、複数のプロジェクタ101−1〜101−3によるマルチ投写のキャリブレーション処理の完了通知が各プロジェクタ101−1〜101−3へ通知される。
図16は、各プロジェクタ101−1〜101−3に対応するパラメータ(幾何補正係数およびブレンディング係数)を用いて、これらのプロジェクタ101−1〜101−3の各々が投写する投写画像によりマルチ投写する処理の一例を示すフローチャートである。
ユーザーがマルチ投写することを希望するコンテンツ(静止画ファイル、動画ファイル等)が情報端末102の表示入力手段607により選択されると(S1101)、情報端末102の投写制御手段610は、選択されたコンテンツから過去に生成した投写コンテンツ画像のデータが各プロジェクタ101−1〜101−3の記憶手段604に記憶されているかどうかを確認する(S1102)。このとき、ユーザーは、複数のコンテンツ(複数のファイル)を選択することもできる。
ステップS1102の確認処理では、例えば、情報端末102の投写制御手段610が、通信手段609により、すべてのプロジェクタ101−1〜101−3に対し、それぞれのプロジェクタ101−1〜101−3の記憶手段604に当該コンテンツデータに対応する投写コンテンツ画像が記憶されているかどうかを問い合わせる。そして、この問い合わせに対する応答に従って、すべてのプロジェクタ101−1〜101−3の記憶手段604に当該コンテンツデータに対応する投写コンテンツ画像が記憶されているかどうかを確認する。
この確認処理において、すべてのプロジェクタ101−1〜101−3の記憶手段604に当該コンテンツデータに対応する投写コンテンツ画像が記憶されていることを確認したら(S1102のYes)、情報端末102の投写制御手段610は、通信手段609により、すべてのプロジェクタ101−1〜101−3の投写手段603に対し、当該コンテンツデータに対応する投写コンテンツ画像の投写を指示する。この指示を無線通信手段601で受信した各プロジェクタ101−1〜101−3は、記憶手段604から当該コンテンツデータに対応する投写コンテンツ画像を読み出す(SS1106)。そして、各プロジェクタ101−1〜101−3は、投写手段603により、それぞれの投写コンテンツ画像を投写面104上に投写する(S1107)。これにより、投写面104上には、プロジェクタ毎の各投写コンテンツ画像が好適に重なり合わせられ、当該コンテンツの画像が単一の画像として表示される。
一方、いずれかのプロジェクタ101−1〜101−3の記憶手段604に当該コンテンツデータに対応する投写コンテンツ画像が記憶されていないことを確認したら(S1102のNo)、情報端末102の投写制御手段610は、選択されたコンテンツに対応するコンテンツデータ707を記憶手段611から読み出す。そして、画像処理手段703により、パラメータ算出手段702により作成されたプロジェクタ毎の画像処理用パラメータ(幾何補正係数およびブレンディング係数)を用いて、プロジェクタ毎にコンテンツデータ707を補正処理し、プロジェクタ毎の投写コンテンツ画像を生成する処理を実行する(S1103)。
プロジェクタ101毎に実行される補正処理では、プロジェクタメモリの全画素と、等倍コンテンツ画像(コンテンツデータが静止画である場合にはプロジェクタ毎に画像分割した後の分割画像であり、コンテンツデータが動画である場合には静止画分割後の各静止画をプロジェクタ毎に画像分割した後の分割画像である。)上での対応する画素位置との対応付けデータを準備する。画像処理手段703は、プロジェクタメモリの画素毎の参照すべき等倍コンテンツ画像上の画素位置(小数点数)に基づき、投写すべき等倍コンテンツ画像から、バイリニア、バイキュービックなどの画素補間方法によって中間画像を生成する。画像処理手段703は、さらに、生成された中間画像のR、G、B各色の画素値に対し、対応付けデータにより対応付けられるブレンディング係数を乗じて、補正処理を完了する。
このようにして補正処理を経て生成された投写コンテンツ画像のデータは、通信手段609により、それぞれのプロジェクタ101−1〜101−3へ転送される(S1104)。そして、投写コンテンツ画像のデータを無線通信手段601で受信した各プロジェクタ101−1〜101−3は、その投写コンテンツ画像のデータを記憶手段604に記憶する(S1105)。そして、各プロジェクタ101−1〜101−3は、記憶手段604から当該コンテンツデータに対応する投写コンテンツ画像を読み出し(SS1106)、投写手段603により、それぞれの投写コンテンツ画像を投写面104上に投写する(S1107)。これにより、投写面104上には、プロジェクタ毎の各投写コンテンツ画像が好適に重なり合わせられ、当該コンテンツの画像が単一の画像として表示される。
なお、コンテンツデータが動画である場合、プロジェクタ101−1〜101−3間で動画再生タイミングの同期をとる必要がある。
本実施形態の表示システムにおいては、コンテンツデータの画像をマルチ投写する際、そのコンテンツデータから投写コンテンツ画像を過去に生成したことがある場合には、その投写コンテンツ画像が各プロジェクタ101−1〜101−3の記憶手段604に記憶されているので、これを用いてマルチ投写を行うことができる。この場合、コンテンツデータの画像をマルチ投写するたびに、投写コンテンツ画像を生成する処理(補正処理等)を繰り返す必要がなく、迅速にマルチ投写を開始することができる。
マルチ投写が開始されると、左側のプロジェクタ101−1からは、図17(a)に示すような投写コンテンツ画像108−1が投写面104上に表示される。また、中央のプロジェクタ101−2からは、図17(b)に示すような投写コンテンツ画像108−2が投写面104上に表示される。なお、右側のプロジェクタ101−3からも、同様に、投写コンテンツ画像108−3が投写面104上に表示される。これらの投写コンテンツ画像が投写面104上で連結して表示されることで、図18に示すように、当該コンテンツの画像108が単一の画像として表示される。
このとき、例えば左側のプロジェクタ101−1がなんらかの要因で動いてしまって、左側のプロジェクタ101−1の設置位置や姿勢が当初の状態(当該コンテンツに対応する投写コンテンツ画像を生成したとき、画像処理用のパラメータを算出したとき等の状態)から変化していたとする。この場合、左側のプロジェクタ101−1が表示する投写コンテンツ画像108−1の投写面104上での表示状態(位置や大きさ等)が、当初の状態から変更してしまう。その結果、図19に示すように、左側のプロジェクタ101−1が表示する投写コンテンツ画像108−1と、他のプロジェクタ101−2,101−3が表示する投写コンテンツ画像108−2,108−3との統一性が崩れてしまい、当該コンテンツの画像108を単一の画像として適切に表示できない。
このような状況になった場合、例えば、左側のプロジェクタ101−1の設置位置や姿勢を完全に元の状態に戻すことができれば、当該コンテンツの画像108を再び単一の画像として適切に表示することが可能である。しかしながら、このように元の状態に戻すことはかなり困難な作業であり、当該コンテンツの画像108を再び単一の画像として適切に表示することは難しい。
また、例えば左側のプロジェクタ101−1の光源等の部品を交換したりする場合がある。この場合、仮に左側のプロジェクタ101−1の設置位置や姿勢を完全に元の状態に戻せたとしても、光源等の交換により、同じ画像データであっても、投写面104上での画像の輝度や色合い(表示状態)には変化が生じてしまう。したがって、このような場合も、当該コンテンツの画像108を再び単一の画像として適切に表示することは難しい。
このように、プロジェクタ101が動いたりプロジェクタ101の部品交換が行われたりするなどの要因で、マルチ投写に用いる複数のプロジェクタ101−1〜101−3のうち、少なくとも1つのプロジェクタが投写する投写コンテンツ画像の投写面104上での表示状態が変更されると、各プロジェクタの記憶手段604に記憶されている投写コンテンツ画像を用いてもマルチ投写を適切に行うことができない。そのため、各プロジェクタの記憶手段604に記憶されている投写コンテンツ画像は、もはや利用できない不要なデータであり、各プロジェクタの記憶手段604の記憶容量を圧迫する原因となる。
特に、本実施形態のように、各プロジェクタ101−1〜101−3の投写コンテンツ画像のデータを記憶する記憶手段として、個々のプロジェクタ101−1〜101−3の記憶手段604を用いている場合、プロジェクタ101−1〜101−3の記憶手段604は比較的記憶容量の少ないことが多く、不要なデータを記憶しておく余裕が少ない。また、情報端末102の記憶手段611や他の装置の記憶手段などの比較的大きな記憶容量をもつ記憶手段を用いる場合でも、不要なデータが蓄積されると、適切なマルチ投写が可能な有効データと適切なマルチ投写ができない不要なデータとが混在し、どのデータが有効データなのかを特定することが困難となるなどの不具合を引き起こす。
そこで、本実施形態の表示システムにおいては、以下のような画像削除処理を実行する。
図20は、本実施形態の画像削除処理の一例を示すシーケンス図である。
なお、図20に示すシーケンス図は、左側のプロジェクタ101−1の動きが検知された例を示したものであるが、中央のプロジェクタ101−2や右側のプロジェクタ101−3の場合でも同様である。
本実施形態では、各プロジェクタ101−1〜101−3に設けられた加速度センサやジャイロセンサ等のセンサ313によって、それぞれのプロジェクタ101−1〜101−3の動き(運動量)が検知される。センサ313の検知結果(運動量)は、プロジェクタ101−1〜101−3の判断手段616において、所定のサンプリング間隔で取得され(S1201)、その運動量の積算値を計算して記憶手段604に記憶される。
運動量の積算値は、情報端末102が画像処理のパラメータ(幾何補正係数およびブレンディング係数)の設定が完了したとき(キャリブレーション処理が完了したとき)に通知される完了通知を情報端末102から各プロジェクタ101−1〜101−3が受領した時点からの運動量の積算値である。また、この運動量の積算値は、例えばX方向(プロジェクタ101の左右方向)、Y方向(プロジェクタ101の上下方向)、Z方向(プロジェクタ101の前後方向)ごとに算出する。
人が触たり、物がぶつかったり、プロジェクタを固定している部品がガタついたり、大勢の人が移動して床が振動したりするなどの理由で、図20に示すように、左側のプロジェクタ101−1が動いたり姿勢変化したりすると、左側のプロジェクタ101−1のセンサ313によって検知される。そして、左側のプロジェクタ101−1の判断手段616により、いずれかの方向についての運動量の積算値が閾値を超えたと判断された場合(S1202のYes)、判断手段616は表示状態変更条件が満たされたと判断する。これにより、左側のプロジェクタ101−1の画像削除手段617は、記憶手段604に記憶されている投写コンテンツ画像のデータを削除する(S1203)。
なお、閾値は、任意に設定できるが、例えば、複数のプロジェクタ101−1〜101−3によって投写面104に表示される複数の投写コンテンツ画像のいずれかの表示状態が、当該複数の投写コンテンツ画像を連結した単一の画像として許容される範囲を超えるほどの変化を示すことになる運動量の積算値に相当する値に設定される。
なお、積算値をとらずに、検出結果(運動量)そのものを閾値と比較し、処理を簡素化してもよい。例えば、センサ313としてジャイロセンサを用い、X軸回りの回転、Y軸回りの回転、Z軸回りの回転を検知する場合に、X軸回りに5[rad/s]、Y軸回りに0.1[rad/s]、Z回りに0.1[rad/s]の動きが検知されたとする。このとき、X軸回りの閾値が3[rad/s]に設定されていた場合、X軸回りの検知結果(5[rad/s])が閾値を超えているので、表示状態変更条件が満たされたと判断される。
また、左側のプロジェクタ101−1の画像削除手段617は、判断手段616によって表示状態変更条件が満たされたと判断された場合(S1202のYes)、その判断結果を、無線通信手段601により他のプロジェクタ101−2,101−3へ通知する処理も行う(S1204)。この通知方法は、SNMP(Simple Network Management Protocol)やSSDP(Simple Service Discovery Protocol)などの標準的なプロトコルを用いて通知をネットワーク内にブロードキャストしてもよいし、独自の通信方式によって通知を他のプロジェクタへ伝えてもよい。この通知を受けた他のプロジェクタ101−2,101−3の画像削除手段617は、それぞれのプロジェクタ101−2,101−3の記憶手段604に記憶されている投写コンテンツ画像のデータを削除する(S1205)。
以上より、本実施形態によれば、マルチ投写を行う複数のプロジェクタ101−1〜101−3のうちの少なくとも1つのプロジェクタ101−1の判断手段616によって表示状態変更条件が満たされたと判断された場合には、すべてのプロジェクタ101−1〜101−3の記憶手段604に記憶されている投写コンテンツ画像のデータが削除される。これにより、もはや適切なマルチ投写を行うことができない不要な投写コンテンツ画像のデータがすべてのプロジェクタ101−1〜101−3の記憶手段604から削除され、各プロジェクタの記憶手段604の記憶容量を圧迫する原因を排除できる。
なお、各プロジェクタ101の画像削除手段617が記憶手段604から画像データを削除するタイミングは、表示状態変更条件が満たされたと判断された後であれば、任意に設定できる。例えば、各プロジェクタ101から画像投写中には削除せず、各プロジェクタの電源がOFFにされたタイミングに削除してもよい。
上述した実施形態では、複数のプロジェクタ101−1〜101−3に設けられる動き検知手段としてのセンサ313の検知結果に基づいて表示状態変更条件が満たされたか否かを判断しているが、表示状態変更条件の判断方法はこれに限らない。例えば、投写面104を撮像する撮像手段の撮像結果に基づいて表示状態変更条件が満たされたか否かを判断してもよい。この撮像結果により撮像される撮像画像を解析することで、各プロジェクタ101−1〜101−3から投写面104上に投写されている画像の位置や大きさ(投写領域の位置や大きさ)、輝度の変化などの表示状態を直接的に検知することができる。この撮像手段としては、各プロジェクタ101に設けた撮像手段であってもよいし、カメラ106を利用してもよい。
また、上述した実施形態では、表示状態変更条件が満たされたか否かを判断する判断手段616が各プロジェクタ101に設けられているが、情報端末102などの他の機器に設けてもよい。例えば、情報端末102が表示状態変更条件の判断に必要な情報(各プロジェクタ101のセンサ313の検知結果や上述した撮像結果等)を収集し、情報端末102の判断手段により表示状態変更条件が満たされた判断したら、情報端末102から各プロジェクタ101に判断結果を通知し、各プロジェクタ101の画像削除手段617により各プロジェクタ101の記憶手段604内の画像データを削除する。
〔変形例〕
次に、本実施形態における画像削除処理の一変形例について説明する。
上述した実施形態においては、各プロジェクタ101−1〜101−3の設置位置や姿勢が変更されたときに、表示状態変更条件が満たされたと判断する。本変形例では、マルチ投写を行う複数のプロジェクタ101−1〜101−3の少なくとも1つのプロジェクタが除外されたり故障したり、あるいは、新たなプロジェクタが追加されたりしたときに、表示状態変更条件が満たされたと判断する。このようにプロジェクタが除外されたり故障したり、あるいは、新たなプロジェクタが追加されたりすると、同じ投写コンテンツ画像を用いたとしても、当該コンテンツの画像を再び単一の画像として適切に表示することは難しいからである。
図21は、本変形例における画像削除処理の一例を示すフローチャートである。
上述したように、マルチ投写を開始するにあたり、ユーザーは、複数のプロジェクタ101−1〜101−3を配置した後、各プロジェクタ101−1〜101−3に対して所定の操作(例えば、電源投入、ボタン操作等)を行って、投写面104に識別コード201−1〜201−3を表示させ、画像処理のパラメータを設定するキャリブレーション処理を実行させる。
キャリブレーション処理においてプロジェクタ101間の通信が確立されると、各プロジェクタ101−1〜101−3は、自らのプロジェクタの機器IDを他のプロジェクタへ、例えば1分に1回の頻度で、定期的に通知する(S1301)。他のプロジェクタからの機器IDを受領したら(S1032)、そのプロジェクタは記憶手段604内に他のプロジェクタの機器IDを登録する(S1033)。その結果、各プロジェクタ101−1〜101−3は、記憶手段604に登録された機器IDにより、自らのプロジェクタとマルチ投写を行う他のプロジェクタを特定することができる。
情報端末102がキャリブレーション処理を完了すると、上述したように、キャリブレーション処理の完了通知が各プロジェクタ101−1〜101−3へ通知される(S1304)。この通知を受けた後も、各プロジェクタ101−1〜101−3は、自らのプロジェクタの機器IDを他のプロジェクタへ定期的に通知する(S1301’)。そして、他のプロジェクタからの機器IDを受領したとき(S1032’)、そのプロジェクタの判断手段616は、受領した機器IDと記憶手段604に登録されている機器IDとを比較する。
この比較において、判断手段616は、受領した機器IDが記憶手段604に登録されていない新規な機器IDである場合(S1305のYes)、表示状態変更条件が満たされたと判断する。これにより、当該プロジェクタの画像削除手段617は、記憶手段604に記憶されている投写コンテンツ画像のデータを削除する(S1307)。
また、判断手段616は、受領した機器IDが記憶手段604に登録されていない新規な機器IDでない場合(S1305のNo)、続いて、記憶手段604に登録されている登録済み機器IDの通知を一定期間(例えば30分間、あるいは、30回分の通知を受領する期間)内に受領しているか否かを判断する(S1306)。例えば、いずれかのプロジェクタが故障したり部品交換したりすることが原因で、左側のプロジェクタ101−1の電源が切られたとする。この場合、左側のプロジェクタ101−1からは機器IDが通知されなくなるため、他のプロジェクタ101−2,101−3は左側のプロジェクタ101からの機器IDの通知を一定期間内に受領できない。
この判断において、判断手段616は、登録済み機器IDを一定期間内に受領していないと判断した場合(S1306のYes)、表示状態変更条件が満たされたと判断する。これにより、当該プロジェクタの画像削除手段617は、記憶手段604に記憶されている投写コンテンツ画像のデータを削除する(S1307)。
以上より、本変形例によれば、ステップS1305やステップS1306の処理により、マルチ投写を行う複数のプロジェクタ101−1〜101−3の組み合わせが変更されたか否かを判断できる。そして、複数のプロジェクタ101−1〜101−3の組み合わせが変更されたと判断した場合(S1305のYes,ステップS1306のYes)、表示状態変更条件が満たされたと判断し、プロジェクタ101−1〜101−3の記憶手段604から投写コンテンツ画像のデータが削除される。これにより、もはや適切なマルチ投写を行うことができない不要な投写コンテンツ画像のデータがプロジェクタ101−1〜101−3の記憶手段604から削除され、各プロジェクタの記憶手段604の記憶容量を圧迫する原因を排除できる。
なお、本変形例で用いる機器IDは、無線LANチップのMACアドレスや製造時に付されるシリアルナンバー(製造番号)などのように、実質的には変更される可能性がない識別情報を使用することが望ましい。ただし、固定IPアドレスやプロジェクタ毎に個別に設定される機器名などのように、後から変更されやすい識別情報を用いてもよい。
また、表示状態変更条件の判断は、上述した実施形態や変形例で説明した各種判断を適宜組み合わせてもよい。
以上に説明したものは一例であり、本発明は、次の態様毎に特有の効果を奏する。
(態様A)
複数のプロジェクタ101−1〜101−3等の表示装置で投写面104等の表示面上に複数の画像(投写コンテンツ画像)を連結して表示する表示システム100であって、前記複数の画像を記憶する記憶手段604と、前記複数の画像のうちの少なくとも1つの画像における前記表示面上での表示状態が変更される表示状態変更条件が満たされたか否かを判断する判断手段616と、前記判断手段により前記表示状態変更条件が満たされたと判断されたとき、前記複数の画像の一部又は全部を前記記憶手段から削除する画像削除手段617とを有することを特徴とする。
本態様によれば、記憶手段に記憶されている複数の画像のうちの少なくとも1つの画像における表示面上での表示状態が変更される表示状態変更条件が満たされたと判断されると、記憶手段から複数の画像の一部又は全部が削除される。よって、複数の画像のうちの少なくとも1つの画像における表示面上での表示状態が変更されてしまい、もはや1つの画像として適切に表示されなくなった不要な画像によって、記憶手段の記憶容量が圧迫される事態を抑制できる。
(態様B)
前記態様Aにおいて、前記表示装置は、前記表示面に画像を投写するプロジェクタ101−1〜101−3等の画像投写装置であることを特徴とする。
これによれば、複数の画像投写装置で表示面上に複数の画像を連結して投写して表示する表示システムにおいて、記憶手段の記憶容量が圧迫される事態を抑制できる。
(態様C)
前記態様A又はBにおいて、前記記憶手段は、前記複数の表示装置の各々が表示する各画像をそれぞれ記憶する該複数の表示装置の記憶部によって構成されていることを特徴とする。
複数の表示装置の各記憶部にそれぞれの画像が記憶される表示システムの場合、その記憶部は記憶容量が比較的少ないことが多く、不要な画像データが蓄積されることによる記憶容量の圧迫問題が顕著である。本態様によれば、この圧迫問題を抑制することができる。
(態様D)
前記態様Cにおいて、前記複数の表示装置間を通信可能に接続する無線通信手段601等の通信手段を有し、前記判断手段は、自ら表示する画像の前記表示面上での表示状態が変更される表示状態変更条件が満たされたか否かを判断する前記複数の表示装置の判断部によって構成されており、前記画像削除手段は、前記判断手段により前記表示状態変更条件が満たされたと判断された表示装置の記憶部から前記画像を削除するとともに、その判断結果を該表示装置から前記通信手段により前記複数の表示装置のうちの他の表示装置へ通知し、該他の表示装置の記憶部から前記画像を削除することを特徴とする。
これによれば、表示状態変更条件の判断、画像の削除という一連の処理を、他の装置を必要とすることなく、複数の表示装置間で実現することができる。
(態様E)
前記態様A〜Dのいずれかの態様において、前記判断手段は、前記複数の表示装置に設けられるセンサ313等の動き検知手段のうちの少なくとも1つの動き検知手段の検知結果に基づいて、前記表示状態変更条件が満たされたか否かを判断することを特徴とする。
これによれば、表示装置が動いたことによる表示状態の変更を検知することができる。
(態様F)
前記態様A〜Eのいずれかの態様において、前記判断手段は、前記表示面を撮像する撮像手段の撮像結果に基づいて、前記表示状態変更条件が満たされたか否かを判断することを特徴とする。
これによれば、表示状態の変更を直接的に検知することができる。
(態様G)
前記態様A〜Fのいずれかの態様において、前記判断手段は、前記複数の表示装置に対応する機器ID等の表示装置識別情報の組み合わせと前記複数の画像を生成したときの表示装置識別情報の組み合わせとの比較結果に基づいて、前記表示状態変更条件が満たされたか否かを判断することを特徴とする。
これによれば、少なくとも1つの表示装置が除外されたり故障したり、あるいは、新たな表示装置が追加されたりしたことに起因した表示状態の変更を検知することができる。
(態様H)
複数の表示装置で表示面上に複数の画像を連結して表示する表示システムにおける前記表示装置であって、前記複数の画像のうち自らが表示する画像を記憶する記憶部と、前記複数の画像のうちの少なくとも1つの画像における前記表示面上での表示状態が変更される表示状態変更条件が満たされたとき、前記画像を前記記憶部から削除する画像削除部とを有することを特徴とする。
本態様によれば、複数の画像のうちの少なくとも1つの画像における表示面上での表示状態が変更されてしまい、もはや1つの画像として適切に表示されなくなった不要な画像によって、記憶手段の記憶容量が圧迫される事態を抑制できる。
(態様I)
前記態様Hにおいて、自らが表示する画像の前記表示面上での表示状態が変更される表示状態変更条件が満たされたか否かを判断する判断部と、前記判断部により前記表示状態変更条件が満たされたと判断されたとき、その判断結果を前記複数の表示装置のうちの他の表示装置へ通知する通知部とを有し、前記画像削除部は、前記判断部により前記表示状態変更条件が満たされたと判断されたとき、前記画像を前記記憶部から削除することを特徴とする。
これによれば、表示状態変更条件の判断、画像の削除という一連の処理を、他の装置を必要とすることなく、複数の表示装置間で実現することができる。
(態様J)
前記態様H又はIにおいて、前記複数の画像のうちの少なくとも1つの画像における前記表示面上での表示状態が変更される表示状態変更条件が満たされたことを示す通知を受け取る受取部を有し、前記画像削除部は、前記受取部により前記通知を受け取ったとき、前記画像を前記記憶部から削除することを特徴とする。
これによれば、表示状態変更条件の判断、画像の削除という一連の処理を、他の装置を必要とすることなく、複数の表示装置間で実現することができる。
(態様K)
複数の表示装置で表示面上に複数の画像を連結して表示するように制御する画像表示制御方法であって、前記複数の画像のうちの少なくとも1つの画像における前記表示面上での表示状態が変更される表示状態変更条件が満たされたか否かを判断し、前記表示状態変更条件が満たされたと判断されたとき、前記複数の画像を記憶する記憶手段から該複数の画像の一部又は全部を削除することを特徴とする。
本態様によれば、複数の画像のうちの少なくとも1つの画像における表示面上での表示状態が変更されてしまい、もはや1つの画像として適切に表示されなくなった不要な画像によって、記憶手段の記憶容量が圧迫される事態を抑制できる。
(態様L)
複数の表示装置で表示面上に複数の画像を連結して表示する表示システムにおける前記表示装置のコンピュータを機能させるプログラムであって、前記複数の画像のうちの少なくとも1つの画像における前記表示面上での表示状態が変更される表示状態変更条件が満たされたとき、前記複数の画像を記憶する記憶手段から該複数の画像の一部又は全部を削除する手段として、前記コンピュータを機能させることを特徴とする。
本態様によれば、複数の画像のうちの少なくとも1つの画像における表示面上での表示状態が変更されてしまい、もはや1つの画像として適切に表示されなくなった不要な画像によって、記憶手段の記憶容量が圧迫される事態を抑制できる。
なお、このプログラムは、CD−ROM等の記録媒体に記録された状態で配布したり、入手したりすることができる。また、このプログラムを乗せ、所定の送信装置により送信された信号を、公衆電話回線や専用線、その他の通信網等の伝送媒体を介して配信したり、受信したりすることでも、配布、入手が可能である。この配信の際、伝送媒体中には、コンピュータプログラムの少なくとも一部が伝送されていればよい。すなわち、コンピュータプログラムを構成するすべてのデータが、一時に伝送媒体上に存在している必要はない。このプログラムを乗せた信号とは、コンピュータプログラムを含む所定の搬送波に具現化されたコンピュータデータ信号である。また、所定の送信装置からコンピュータプログラムを送信する送信方法には、プログラムを構成するデータを連続的に送信する場合も、断続的に送信する場合も含まれる。