JPWO2017179111A1 - 表示システムおよび情報処理方法 - Google Patents

Abstract

より好適に映像の歪補正を実現する。映像表示装置と、前記映像表示装置と通信する携帯端末と、を有する表示システムであって、映像表示装置は、複数の計測用パターンを生成する計測用パターン発生部と、計測用パターン発生部が生成する複数の計測用パターンを投射する投射部と、携帯端末と通信し、携帯端末から映像の歪み補正に関する情報を受信する第１の通信部と、携帯端末から受信した映像の歪み補正に関する情報に基づいて、投射部が投射する映像の歪を補正する歪補正部と、を有し、携帯端末は、投射部が投射した複数の計測用パターンを撮影するカメラ部と、カメラ部が撮影した複数の計測用パターンに基づいて映像の歪み補正に関する情報を生成する制御部と、第１の通信部と通信を行い、制御部が生成した映像の歪み補正に関する情報を映像表示装置に送信する第２の通信部と、を有し、計測用パターン発生部は、複数の計測用パターンに計測用パターンの基準位置を示す共通パターンをそれぞれ付加し、制御部は、複数の計測用パターンにそれぞれ付加された共通パターンに基づいて、映像の歪み補正に関する情報を生成する。

Description

本発明は、表示システムおよび情報処理方法に関し、特に、投影映像の歪補正に有効な技術に関する。

プロジェクタは、光源の光を液晶などの映像デバイスにより透過させて、所望のスクリーンなどに結像させるものであるため、光源からの光の方向とスクリーンが正対していないと投影された映像に歪が生ずる。

そのため、一般的には設置の際にプロジェクタとスクリーンの配置により、投影された映像が歪まないように調整するか、あるいはプロジェクタの歪補正機能などを用いて表示映像の歪を調整する必要がある。

一方、近年、実世界に置かれた物体に対して、プロジェクタなどの映像投射装置を用いて映像を投映するいわゆるプロジェクションマッピングと呼ばれる技術が注目を浴びている。

プロジェクションマッピングでは、プロジェクタに正対した平面のスクリーンだけでなく、プロジェクタに正対せず角度を持って置かれたスクリーンや凹凸のある物体などに対して映像を投映する必要がある。

前述のように、プロジェクタに対してスクリーンなどの投映対象が正対していない場合、すなわちプロジェクタの光軸と投映対象面が直角に交わっていない場合には、投映された映像に幾何学的な歪が発生する。

例えばスクリーンの上辺がプロジェクタに近く、下辺が遠くになるようにスクリーンが設置された場合には、プロジェクタから正方形の映像を投映すると、正方形の上辺が下辺よりも短く投映される、いわゆる台形歪が発生することになる。

実際には、上下方向だけでなく、左右方向にも同様の現象が発生するので、プロジェクタから投映した正方形の映像は、平行な辺のない歪んだ四角形として投映されることになる。

この場合、この歪を打ち消すように予め投映する映像に逆方向の幾何補正を掛けておくことで、正しく正方形として表示することが可能となる。この幾何補正、言い換えれば幾何変換は、透視変換または射影変換と呼ばれ、行列計算によって実現することが可能である。この行列を算出するためには、なんらかの手段で投映対象物の形状や位置の情報を取得する必要がある。

これを実現するための一つの技術が、例えば特開２０１３−１９２０９８号公報（特許文献１参照）に記載されている。この特許文献には、プロジェクタから基準となるマーカーを投映し、スマートフォンのカメラで撮影することで投映対象の形状を取得し、取得した映像から歪を算出した後に歪を逆補正することが記載されている。

特開２０１３−１９２０９８号公報

上述した特許文献１の技術は、画面上の４か所にマーカーを表示するものである。この場合、画面に一様な歪、例えば、投影面がプロジェクタに正対していないことにより生ずる台形歪などは検出して補正することができるが、例えば細かな凹凸のある投影面の形状は検出することができない。

細かな凹凸のある投影面の検出には、マーカーの細かさを変えた複数の補正用映像を投影して、そのたびにカメラで撮影する必要がある。しかし、スマートフォンなどのように、固定されていないカメラでは、複数回の撮影において撮影される補正用映像の位置が手ぶれなどの影響により変わってしまい、投影面の形状を正確に求めることができないという課題がある。

本発明の目的は、より好適に映像の歪補正を実現することのできる技術を提供することにある。

本発明の前記ならびにその他の目的と新規な特徴については、本明細書の記述および添付図面から明らかになるであろう。

本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、次のとおりである。

すなわち、代表的な表示システムは、映像表示装置と、該映像表示装置と通信する携帯端末と、を有する。映像表示装置は、計測用パターン発生部、投射部、第１の通信部、および歪補正部を有する。

計測用パターン発生部は、複数の計測用パターンを生成する。投射部は、計測用パターン発生部が生成する複数の計測用パターンを投射する。第１の通信部は、携帯端末と通信し、携帯端末から映像の歪み補正に関する情報を受信する。歪補正部は、携帯端末から受信した映像の歪み補正に関する情報に基づいて、投射部が投射する映像の歪を補正する。

また、携帯端末は、カメラ部、制御部、および第２の通信部を有する。カメラ部は、投射部が投射した複数の計測用パターンを撮影する。制御部は、カメラ部が撮影した複数の計測用パターンに基づいて映像の歪み補正に関する情報を生成する。第２の通信部は、第１の通信部と通信を行い、制御部が生成した映像の歪み補正に関する情報を映像表示装置に送信する。

そして、計測用パターン発生部は、複数の計測用パターンに計測用パターンの基準位置を示す共通パターンをそれぞれ付加する。制御部は、複数の計測用パターンにそれぞれ付加された共通パターンに基づいて、映像の歪み補正に関する情報を生成する。

特に、計測用パターン発生部が付加する共通パターンは、カメラ部が撮影した複数の計測用パターン画像の撮像位置の変化を補償する。

さらに、携帯端末は、共通パターン処理部、および表示部を有する。共通パターン処理部は、共通パターンの輝度、色、および位置を選択するメニューを生成する。表示部は、 共通パターン処理部が生成したメニューを表示する。

計測用パターン発生部は、携帯端末から受信したメニューの選択結果に応じて共通パターンを変更させる。

本願において開示される発明のうち、代表的なものによって得られる効果を簡単に説明すれば以下のとおりである。

精度の高い映像の補正を実現することができる。

実施の形態１による映像表示システムにおける構成の一例を示す説明図である。 図１の映像表示システムが有するプロジェクタおよびスマートフォンにおける構成の一例を示す説明図である。 図２のプロジェクタが有する計測用パターン発生部が発生するストライプパターンの一例を示す説明図である。 図２のプロジェクタが有する計測用パターン発生部が発生するストライプパターンの他の例を示す説明図である。 図２の映像表示システムによる投影歪を補正する歪補正係数の設定処理の一例を示すフローチャートである。 図５のステップＳ２０４の処理である映像基準位置の補正の一例を示す説明図である。 図５のステップＳ２０５の処理の一例を示す説明図である。 図７の補正領域の分割における処理の一例を示した説明図である。 実施の形態２によるストライプパターンに形成される共通パターン領域の一例を示す説明図である。 図９に示す共通パターン領域の切り換え処理を含む歪補正係数の設定処理の一例を示すフローチャートである。 実施の形態３によるストライプパターンに形成される共通パターン領域の一例を示す説明図である。 図１１の共通パターン領域の切り換える際の画面表示の一例を示す説明図である。

以下の実施の形態においては便宜上その必要があるときは、複数のセクションまたは実施の形態に分割して説明するが、特に明示した場合を除き、それらはお互いに無関係なものではなく、一方は他方の一部または全部の変形例、詳細、補足説明等の関係にある。

また、以下の実施の形態において、要素の数等（個数、数値、量、範囲等を含む）に言及する場合、特に明示した場合および原理的に明らかに特定の数に限定される場合等を除き、その特定の数に限定されるものではなく、特定の数以上でも以下でもよい。

さらに、以下の実施の形態において、その構成要素（要素ステップ等も含む）は、特に明示した場合および原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではないことは言うまでもない。

同様に、以下の実施の形態において、構成要素等の形状、位置関係等に言及するときは特に明示した場合および原理的に明らかにそうではないと考えられる場合等を除き、実質的にその形状等に近似または類似するもの等を含むものとする。このことは、上記数値および範囲についても同様である。

また、実施の形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。

以下、実施の形態を詳細に説明する。

（実施の形態１）
〈映像表示装置の構成例〉
図１は、本実施の形態１による映像表示システムにおける構成の一例を示す説明図である。

映像表示システムは、図１に示すように、プロジェクタ１０１、スマートフォン１０２、およびスクリーン１０３を有する。映像表示装置であるプロジェクタ１０１は、入力映像を映像処理してスクリーン１０３に投影する。ここで、図１の点線にて示す光線１０５は、プロジェクタ１０１により投影される光線の方向を示している。

プロジェクタ１０１とスマートフォン１０２とは、例えば無線による通信機能により通信できるものとする。プロジェクタ１０１とスマートフォン１０２との通信技術については、ＷｉＦｉやＢｌｕｅｔｏｏｔｈなど、どのような無線通信技術であってもよい。

〈プロジェクタの構成例〉
次に、プロジェクタ１０１およびスマートフォン１０２の構成について、以下に説明する。

図２は、図１の映像表示システムが有するプロジェクタ１０１およびスマートフォン１０２における構成の一例を示す説明図である。

まず、プロジェクタ１０１の構成について説明する。プロジェクタ１０１は、映像入力部１１０、映像処理部１１１、歪補正部１１２、光学系１１３、マイコン１１４、メモリ１１５、計測用パターン発生部１１６、および無線通信部１１７を有する。

映像入力部１１０は、例えばパソコンなどから出力される入力映像を内部映像フォーマットに変換する。入力映像は、ＨＤＭＩ（High-Definition Multimedia Interface）やＤｉｓｐｌａｙ Ｐｏｒｔなどの各種映像フォーマットの映像である。また、内部映像フォーマットとしては、一般的なＲＧＢ（red green blue）やＹＵＶ形式などであり、特に限定はされない。

映像処理部１１１には、映像入力部１１０にて処理された内部映像信号が入力される。映像処理部１１１は、映像補正を行う。映像補正としては、例えばコントラスト補正や色補正などである。

映像処理部１１１にて処理された映像信号は、歪補正部１１２において、映像の水平、垂直方向の歪補正などが行われ、光学系１１３を介して光に変換されて投影される。歪補正部１１２は、後述する歪補正係数を用いて映像の歪を補正する。

投射部となる光学系１１３は、光源を備えており、液晶やＤＬＰ（Digital Light Processing）などの映像デバイスによって映像信号を光に変換して出力する。その方式は特に限定されるものではない。

メモリ１１５は、プロジェクタ１０１の全体を制御するプログラムなどが格納されている。マイコン１１４は、メモリ１１５に格納されたプログラムに基づいて、プロジェクタ１０１を制御する。

計測用パターン発生部１１６は、後述する投影面の形状を計測する計測用パターンであるストライプパターンを生成する。第１の通信部である無線通信部１１７は、スマートフォン１０２が有する後述する無線通信部１２４と無線通信を行う。

〈スマートフォンの構成例〉
続いて、スマートフォン１０２の構成について説明する。

スマートフォン１０２は、ＣＰＵ１２０、メモリ１２１、カメラ１２２、ディスプレイ１２３、および無線通信部１２４を有する。メモリ１２１は、プログラム、後述する歪補正アプリケーション、およびカメラ１２２が撮影した撮影データなどを格納する。

制御部および共通パターン処理部として機能するＣＰＵ１２０は、メモリ１２１に格納されているプログラムに基づいて、スマートフォン１０２の制御を司る。カメラ１２２は、映像を撮影する。

第２の通信部である無線通信部１２４は、プロジェクタ１０１の無線通信部１１７と無線通信を行う。ディスプレイ１２３は、表示部であり、例えば液晶ディスプレイなどからなる。

なお、スマートフォン１０２の構成については、特に特殊な構成は必要なく、上述した機能を備えてればよい。よって、スマートフォンに限定されるものではなく、例えばタブレット端末などに例示される携帯情報端末（ＰＤＡ：Personal Digital Assistant）などであってもよい。

〈ストライプパターンの例１〉
図３は、図２のプロジェクタ１０１が有する計測用パターン発生部１１６が発生するストライプパターンの一例を示す説明図である。

まず、図３の左側に示すストライプパターンａ１〜ａ４は、垂直方向のストライプパターンの一例を示したものである。

図３の左上に示すストライプパターンａ１は、映像全体が白または高輝度により表示された図３の点線にて示す領域１３０によって形成されている。領域１３０内のハッチングは、白または高輝度により表示されていることを表している。以下、図３において、領域内のハッチングは、白または高輝度により表示されていることを表しているものとする。

また、ストライプパターンａ１の下方に示すストライプパターンａ２は、映像全体が点線にて示す領域１３２と太点線にて示す領域１３３とによって形成されている。映像の右半分を占める領域１３３は、白または高輝度である。映像の左半分を占める領域１３２内の白抜きは、映像の左半分を占める領域１３２は、黒または低輝度であることを示している。以下、図３において、領域内の白抜きは、黒または低輝度により表示されていることを表しているものとする。

ストライプパターンａ２の下方に示すストライプパターンａ３は、点線にて示す領域１３２と太点線にて示す２つの領域１３３とによって映像全体が形成されている。映像の左右にそれぞれ形成される２つの領域１３３は、白または高輝度であり、左右の領域１３３に挟まれる領域１３２は、黒または低輝度であることを示している。

ストライプパターンａ３の下方に示すストライプパターンａ４は、点線にて示す２つの領域１３２と太点線にて示す３つの領域１３３とによって映像全体が形成されている。映像の左右および中央部に位置する領域１３３は、白または高輝度であり、左側と中央部との領域１３３に挟まれた領域１３２および右側と中央部との領域１３３に挟まれた領域１３２は、黒または低輝度であることをそれぞれ示している。

続いて、図３の右側に示すストライプパターンｂ１〜ｂ４は、図３の左側に示すストライプパターンａ１〜ａ４に共通パターン領域１３１をそれぞれ形成したものである。共通パターンである共通パターン領域１３１は、図３の左側に示すストライプパターンａ１〜ａ４の映像全体の外周を示すパターンであり、計測用パターン発生部１１６により発生される。

共通パターン領域１３１の幅は、特に限定されないが、後述する投影された映像を図２のカメラ１２２にて撮影する際に撮影できる程度の幅があればよい。共通パターン領域１３１は、ストライプパターンａ１〜ａ４において、共通の領域にそれぞれ形成する。言い換えればストライプパターンａ１〜ａ４において、共通パターン領域１３１の面積は同じとなる。

なお、ここでは、共通パターン領域１３１の映像レベルは、白または高輝度であるものとする。領域１３０、領域１３３、および共通パターン領域１３１は、いずれも白または高輝度であるが、同一の輝度レベルであっても、あるいは輝度レベルを変えてもよく、映像全体の外周が検出できればよい。

〈ストライプパターンの例２〉
図４は、図２のプロジェクタ１０１が有する計測用パターン発生部１１６が発生するストライプパターンの他の例を示す説明図である。この図４は、計測用パターン発生部１１６が発生する水平方向のストライプパターンの一例を示したものである。

図４において、上方のストライプパターンｆ１は、映像全体が白または高輝度である領域１３０によって形成されている。ストライプパターンｆ１の下方に示すストライプパターンｆ２は、映像の下半分が白または高輝度である領域１３３によって形成され、映像の上半分が黒または低輝度である領域１３２によって形成されている。

ストライプパターンｆ２の下方に示すストライプパターンｆ３は、映像の上部および下部分が白または高輝度である領域１３３によってそれぞれ形成され、映像の中央部が黒または低輝度である領域１３２によって形成されている。

また、これらストライプパターンｆ１〜ｆ３においては、外周部に、図３の右側に示すストライプパターンｂ１〜ｂ４と同様に、共通パターン領域１３１がそれぞれ形成されている。

〈歪補正係数の設定例〉
続いて、投影歪を補正する歪補正係数の設定例について説明する。

図５は、図２の映像表示システムによる投影歪を補正する歪補正係数の設定処理の一例を示すフローチャートである。

この図５において、スマートフォン１０２は、プロジェクタ１０１から投影された映像の歪を検出して歪補正係数を算出および設定する。これらの処理は、図２のメモリ１２１に格納されたアプリケーションである歪補正アプリケーションに基づいて、ＣＰＵ１２０が実行する。

まず、操作者は、予めプロジェクタ１０１とスマートフォン１０２とを無線通信により接続する。この無線通信は、プロジェクタ１０１の無線通信部１１７とスマートフォン１０２の無線通信部１２４とによって無接続される。

そして、スマートフォン１０２にインストールされている歪補正アプリケーションを起動し、ディスプレイ１２３に表示されるカメラ１２２の撮影範囲にプロジェクタ１０１の投影映像が収まるように構えた状態にて歪補正の開始ボタンを押す。以上により、歪補正開始が指示された状態となる。

以下、図５のフローチャートに沿って説明する。

スマートフォン１０２によって上述した歪補正開始が指示されると、スマートフォン１０２のＣＰＵ１２０からプロジェクタ１０１のマイコン１１４に計測パターンの発生命令が送信される。この発生命令は、スマートフォン１０２の無線通信部１２４からプロジェクタ１０１の無線通信部１１７を介して送信される。

この発生命令を受けてマイコン１１４は、計測用パターン発生部１１６から最初の計測用パターンである図３の右上に示すストライプパターンｂ１を発生する（ステップＳ２０１）。

計測用パターン発生部１１６が発生したストライプパターンは、映像入力部１１０から映像処理部１１１、歪補正部１１２、および光学系１１３を経てプロジェクタ１０１の投影映像として出力される。この時、歪補正部１１２は、歪補正をしない初期状態とする。

そして、スマートフォン１０２のＣＰＵ１２０からカメラ１２２に撮影命令が出力されると、プロジェクタ１０１から投影対象に投影されているストライプパターンの映像が撮影される（ステップＳ２０２）。カメラ１２２によって撮影された映像は、メモリ１２１に格納される。

ＣＰＵ１２０は、カメラ１２２によってストライプパターンが全て撮影されたかを確認する（ステップＳ２０３）。ストライプパターンが全て撮影されていない場合は、ステップＳ２０１の処理に戻り、次のストライプパターンに切り換える。

全てのストライプパターン、すなわち、図３のストライプパターンｂ１〜ｂ４および図４のストライプパターンｆ１〜ｆ３がすべて撮影されるまで、ステップＳ２０１〜Ｓ２０３の処理を繰り返す。そして、全てのストライプパターンが撮影されると、次のステップＳ２０４の処理に移行する。

ステップＳ２０３の処理にて、全てのストライプパターンが撮影されたと判定されると、スマートフォン１０２のＣＰＵ１２０は、ステップＳ２０１〜Ｓ２０３の処理にて撮影された複数のストライプパターンの映像に対して、映像基準位置の補正を行う（ステップＳ２０４）。

〈映像基準位置の補正処理例〉
ここで、映像基準位置の補正処理について説明する。

図６は、図５のステップＳ２０４の処理である映像基準位置の補正の一例を示す説明図である。

図６（ａ）は、図３のストライプパターンｂ１を図５のステップＳ２０２の処理にて撮影した映像であり、同じく図６（ｂ）は、図３のストライプパターンｂ２を図５のステップＳ２０２の処理にて撮影した映像を示している。

上述のようにスマートフォン１０２を操作者が手で持っているため、図６（ａ）および図６（ｂ）に示すように、それぞれのストライプパターンの撮影映像の位置が若干ずれる場合がある。図６（ｂ）は、撮影したストライプパターンｂ２の映像が、点線にて示すストライプパターンｂ１の撮影映像の位置に対してずれている様子を示したものである。

そこで、ステップＳ２０４の処理である映像基準位置の補正では、図６（ａ）の撮影映像の位置を基準として、図６（ｂ）のストライプパターンの撮影映像を位置補正して、ストライプパターンｂ１，ｂ２の映像が重合するようにする。図６（ｃ）は、ストライプパターンｂ１，ｂ２の映像の補正後の状態を示している。

この処理は、メモリ１２１に格納された全ての撮影映像に対して、上述したようにＣＰＵ１２０が実行する。具体的には、ストライプパターンに形成された共通パターン領域１３１から映像の外周を抽出して、映像の外周位置が図６（ａ）の撮影映像と同じになるように補正を加えることで実現する。

上述したように、映像外周の検出処理において、共通パターン領域１３１の映像を高輝度とすることによって、映像のない領域とプロジェクタ１０１の投影映像の外周領域の境界において明るさの差を大きくすることができる、そのため、投影映像の外周部分の検出処理を容易にすることができる。

ここでは、図５のステップＳ２０４の処理をＣＰＵ１２０が実行するものとしたが、該ステップＳ２０４の処理は、例えばプロジェクタ１０１のマイコン１１４が実行するようにしてもよい。

その場合、図５のステップＳ２０２の処理にて撮影されたストライプパターンの映像は、スマートフォン１０２のカメラ１２２によって撮影される毎に、マイコン１１４に送信され、例えばメモリ１１５に格納される。

続いて、図５において、ステップＳ２０４の処理である映像基準位置の補正が終了すると、スマートフォン１０２のＣＰＵ１２０は、映像の領域毎の歪を算出し（ステップＳ２０５）、プロジェクタ１０１の投影映像の歪を補正する歪補正係数を算出する。

図７は、図５のステップＳ２０５の処理の一例を示す説明図である。

領域毎の歪の算出は、まず、補正領域を決定する。この補正領域は、黒または低輝度の領域１３２と白あるいは高輝度の領域１３３との境界によって決定される。図３に示した４枚の縦方向のストライプパターンおよび図４に示した３枚の横方向のストライプパターンを用いた場合には、図７の点線に示すように水平方向に８個の領域に分割され、垂直方向に４個の領域に分割され、３２個の補正領域に分割されることになる。

〈補正領域の分割処理例〉
この補正領域の分割処理について説明する。

図８は、図７の補正領域の分割における処理の一例を示した説明図である。

図８の上方に示すストライプパターンｂ２は、図３のストライプパターンｂ２と同一であり、該ストライプパターンｂ２には、画面中央部に水平方向の明暗の境界がある。このストライプパターンｂ２の境界位置を検出した結果が、ストライプパターンｂ２の下方に示す検出結果Ｅ１である。

先に述べたようにストライプパターンの境界には、輝度レベルの変化があるので、例えば、映像信号のハイパスフィルタ処理を行い、絶対値化すれば検出結果Ｅ１を得ることができる。同様に、検出結果Ｅ２，Ｅ３は、図３のストライプパターンｂ３、ストライプパターンｂ４から境界をそれぞれ検出した結果を示している。

検出結果Ｅ４は、これら検出結果Ｅ１〜Ｅ３の境界を重ね合わせることによって得られたものである。この場合、検出結果Ｅ４に示すように、水平方向に８個の領域に分割されたものが得られることになり、この検出結果Ｅ４の分割領域を映像補正領域として、領域毎の歪補正を行う。

同様に、図４のストライプパターンｆ１〜ｆ３を用いて、垂直方向に４個の領域に分割されたものが得られることになる。これにより、３２個の補正領域に分割されることになる。

ここで、図７に戻る。図７（ａ）は、上述のように領域が３２分割されたパターンの映像を示しており、図７（ｂ）は、プロジェクタ１０１から投影された図７（ａ）の映像をスマートフォン１０２にて撮影することにより形成した３２分割されたパターンの映像例を示している。

図７（ｂ）の例では、プロジェクタ１０１から投影する投影面が平坦でなく、中央が凹んでいる場合を示している。この時、図７（ａ）に示す映像の各領域の交点には、座標ｐ１１、ｐ１２、ｐ２１、ｐ２２が割り付けられている
図７（ｂ）の場合には、上述したように投影面が平坦ではないので、図７（ａ）に示す座標ｐ１１、ｐ１２、ｐ２１、ｐ２２は、歪んだ位置に対応することになる。

そこで、図７（ｂ）に示す歪を補正して、投影映像を矩形とするために、この各領域の座標を基準に補正を加える。例えば、図７（ｂ）に示す歪を補正するには、図７（ｄ）に示す歪補正を加えることで、図７（ｅ）に示す補正後の矩形映像を得ることができる。

この処理は、まず、図７（ｂ）に示す表示映像から図７（ｃ）に示す最大面積となる矩形領域を求めておき、この範囲内に収まるように歪補正係数を生成する。これによって、図７（ｅ）に示す表示映像を得ることができる。

その際、上述の矩形領域は、投影面の形状によっては、元々の映像の縦横比と同じになるとは限らない。そこで、矩形領域いっぱいとなるように歪補正係数を求め、映像の縦横比を変えて表示するようにしてもよい。あるいは、映像の縦横比を維持するように歪補正係数を設定してもよい。上述の各処理においても、スマートフォン１０２のＣＰＵ１２０にて処理される。以上により、ステップＳ２０５の処理が終了となる。

ここでも、ステップＳ２０５の処理においては、スマートフォン１０２のＣＰＵ１２０が処理するものとしたが、該ステップＳ２０５の処理をプロジェクタ１０１のマイコン１１４が実行するようにしてもよい。

これにより、スマートフォン１０２のＣＰＵ１２０の負荷を軽減することができる。それにより、スマートフォン１０２の消費電力を低減することが可能となり、スマートフォン１０２のバッテリの消費を減らせる効果を得ることができる。これは、上述した図５のステップＳ１０４の処理をプロジェクタ１０１のマイコン１１４にて実行することによっても同様の効果を奏することができる。

続いて、図５において、ステップＳ２０５の処理にて算出した歪補正パラメータである歪補正係数を無線通信部１２４を介してプロジェクタ１０１に送信する（ステップＳ２０６）。プロジェクタ１０１では、無線通信部１１７およびマイコン１１４を介して歪補正係数を歪補正部１１２に設定する。

歪補正係数が歪補正部１１２に設定されると、マイコン１１４は、映像入力部１１０に取り込む映像を入力映像に切り換える（ステップＳ２０７）。

これらの処理によって、歪補正の設定処理が終了となる。

以上により、計測用パターンであるストライプパターンを撮影時における手ぶれなどの影響を低減することができる。その結果、精度の高い映像の補正を行うことができる。

また、ストライプパターンの撮影の際に、三脚などのスマートフォンを固定する道具などを不要とすることができるので、利便性を向上させることができる。

（実施の形態２）
〈概要〉
前記実施の形態１では、図３に示すように共通パターン領域１３１を映像全体の外周を示すパターンとした。しかし、投影面の形状や色、模様の有無によっても共通パターン領域を変更する方がよい場合がある。本実施の形態２では、共通パターン領域１３１の他の例について説明する。

〈共通パターン領域の例〉
図９は、本実施の形態２によるストライプパターンに形成される共通パターン領域の一例を示す説明図である。

図９の上方に示すストライプパターンａ２は、共通パターン領域を付加する前のストライプパターンを示したものであり、前記実施の形態１の図３におけるストライプパターンａ２と同じものである。

ストライプパターンａ２の下方に示すストライプパターンｅ２ａ，ｅ２ｂ，ｅ２ｃは、ストライプパターンａ２に共通パターン領域１３１を設けた新たな例をそれぞれ示している。

ストライプパターンｅ２ａは、図３のストライプパターンｂ２と同様であり、映像の外周に共通パターン領域１３１が設けられている。その下方のストライプパターンｅ２ｂは、映像の外周ではなく、例えば映像の中心に対して縦横７５％の位置に共通パターン領域１３１が設けられている例を示している。

また、ストライプパターンｅ２ｂの下方に示すストライプパターンｅ２ｃは、例えば映像の中心に対して縦横５０％の位置に共通パターン領域１３１が設けられている例を示している。

例えば、投影面の形状によっては、投影された映像を撮影する際に、図２のカメラ１２２から見て死角が生ずる場合がある。その場合には、使用者が共通パターン領域を切り換えて、最適な位置になるようにしておくことによって、カメラ１２２の位置による映像の死角を回避して歪補正の設定を行うことができる。

共通パターン領域１３１が、画面のどの位置にあるのかがわかれば、前記実施の形態１にて説明した歪補正係数を算出することが可能である。この共通パターン領域１３１の切り換えは、例えば、前記実施の形態１にて説明した図１のスマートフォン１０２のアプリケーションなどによって実行され、歪補正処理の開始時に行うようにしておけばよい。

〈歪補正係数の設定処理例〉
図１０は、図９に示す共通パターン領域１３１の切り換え処理を含む歪補正係数の設定処理の一例を示すフローチャートである。

図１０による設定処理の場合、前記実施の形態１の図５に示すフローチャートに対して、新たにステップＳ２０８の処理が追加されている。なお、ハードウェアに関しては、図２と同じ構成である。

このステップＳ２０８の処理は、歪補正係数の設定処理の最初のステップに追加される。まず、図９のストライプパターンｅ２ａのパターンが表示された際に、使用者はスマートフォン１０２の画面を確認し、映像全体が撮影範囲に含まれるかを確認する。

ここで、前述した死角などによりプロジェクタ１０１の映像が欠落している場合には、共通パターン領域１３１が欠落しないように共通パターン領域１３１の切り換え操作を行う（ステップＳ２０８）。

この操作により、死角を回避した歪補正を設定することができる。なお、ステップ２０８以降の処理、すなわち図１０のステップＳ２０１〜Ｓ２０７の処理については、図５のステップＳ２０１〜Ｓ２０７の処理と同様であるので、説明は省略する。

以上の説明においては、共通パターン領域１３１の位置として、映像の外周と、映像中心から縦横に７５％の位置、および映像中心から縦横に５０％の位置に３段階に選択する一例を示した。しかし、共通パターン領域１３１の位置については、この一例に限定されず、より細かな刻みで切り換えられるようにしてもよい。

また、図１０では、共通パターン領域１３１の撮影範囲の確認および切り換え操作を使用者が行う場合を説明したが、共通パターン領域１３１が撮影範囲に入っていて、映像領域の判別が可能かに否かをスマートフォン１０２のＣＰＵ１２０によって判定するようにしてもよい。判別が可能か否かの判定は、例えばＣＰＵ１２０が共通パターン領域１３１の輝度レベルまたは色レベルを判定し、いずれかのレベルが予め設定されたしきい値以下であると判別不可と判定する。

そして、判別不可の場合には、例えばアラートを出力するようにしてもよい。アラートは、例えばアラームおよび使用者に切り換えを促す表示などであり、使用者に切り換えを促す表示を行うことによって、使用者が適切なストライプパターンおよび共通パターン領域を選びやすくすることができる。

さらに、これに加えて共通パターン領域の切り換えをスマートフォン１０２のＣＰＵ１２０により自動で行うことで使用者の使い勝手をより向上することができる。この場合、ＣＰＵ１２０は、アラートを出力した際に、共通パターン領域１３１の輝度、色、または位置の少なくともいずれか１つを変更する制御信号を無線通信部１２４，１７７を経由して計測用パターン発生部１１６に送信する。この制御信号を受けた計測用パターン発生部１１６は、共通パターン領域１３１の輝度、色、または位置の少なくともいずれか１つを変更する。

以上により、投影面の形状に起因する共通パターン領域１３１の欠落を低減することができるので、より精度の高い歪補正を行うことができる。

（実施の形態３）
〈概要〉
前記実施の形態１，２では、共通パターン領域を額縁状に設けた例について示したが、本実施の形態３においては、共通パターン領域１３１の他の形状の例について説明する。

〈共通パターン領域の例〉
図１１は、本実施の形態３によるストライプパターンに形成される共通パターン領域の一例を示す説明図である。

図１１の上方に示すストライプパターンａ２は、前記実施の形態１の図３に示すストライプパターンａ２と同じである。ストライプパターンａ２の下方に示すストライプパターンｄ２ａ〜ｄ２ｃは、ストライプパターンａ２に共通パターン領域１３１を設けた新たな例をそれぞれ示している。

ストライプパターンｄ２ａの場合、映像の上下左右の４つのコーナ部の位置に四角形の点状からなる共通パターン領域１３１がそれぞれ設けられている。また、ストライプパターンｄ２ａの下方に示すストライプパターンｄ２ｂでは、映像の中心に対して縦横７５％の位置に四角形の点状からなる共通パターン領域１３１がそれぞれ設けられている。

ストライプパターンｄ２ｂの下方に示すストライプパターンｄ２ｃでは、映像の中心に対して縦横５０％の位置に四角形の点状からなる共通パターン領域１３１がそれぞれ設けられている。

この場合においても、前記実施の形態２にて説明した例と同様に、図２のカメラ１２２の死角を考慮してストライプパターｄ２ａ〜ｄ２ｃを使用者が選択して歪補正の設定を行うことができる。

また、共通パターン領域１３１は、輝度だけではなく、色を変えてもよく、さらには色を選択できるようにしてもよい。色を選択できるようにしておくことで、色がある投影面に映像を投影した際に撮影した映像中の共通パターン領域と、それ以外の領域の輝度段差だけでなく、色の段差を利用して領域の判別を行うことができる。これにより、歪の検出精度を向上させることができる。

〈画面表示例〉
図１２は、図１１の共通パターン領域の切り換える際の画面表示の一例を示す説明図である。ここでも、スマートフォン１０２は、図２と同様の構成である。

図示するように、ディスプレイ１２３には、上述した歪補正設定のアプリケーション画面が表示される。そのディスプレイ１２３上の表示において、ディスプレイ１２３の上部には、内蔵カメラの撮影映像を表示するディスプレイ領域５０２がある。

ディスプレイ領域５０２の左下方には、カメラ１２２のズームボタン５０３が表示されており、その右側には、共通パターン領域１３１の表示を切り換えるパターン切り替えボタン５０４が表示されている。

また、パターン切り替えボタン５０４の右側には、歪補正設定を開始する開始ボタン５０５が表示されている。上記したパターン切り換えボタン５０４は、例えば、「サイズ切り換え」「輝度切り換え」「色切り換え」「自動」などの複数のボタン表示、すなわちメニューを有する構成としてもよい。

以上により、共通パターン領域１３１のサイズ、輝度、あるいは色などを切り換えることができるので、共通パターン領域１３１の良好に認識させることが可能となり、歪の検出精度を向上させることができる。

なお、本発明は上記した実施の形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。

また、ある実施の形態の構成の一部を他の実施の形態の構成に置き換えることが可能であり、また、ある実施の形態の構成に他の実施の形態の構成を加えることも可能である。また、各実施の形態の構成の一部について、他の構成の追加、削除、置換をすることが可能である。

１０１ プロジェクタ
１０２ スマートフォン
１０３ スクリーン
１１０ 映像入力部
１１１ 映像処理部
１１２ 歪補正部
１１３ 光学系
１１４ マイコン
１１５ メモリ
１１６ 計測用パターン発生部
１１７ 無線通信部
１２１ メモリ
１２２ カメラ
１２３ ディスプレイ
１２４ 無線通信部
１３１ 共通パターン領域

Claims (12)

1. 映像表示装置と、前記映像表示装置と通信する携帯端末と、を有する表示システムであって、
   前記映像表示装置は、
   複数の計測用パターンを生成する計測用パターン発生部と、
   前記計測用パターン発生部が生成する複数の前記計測用パターンを投射する投射部と、
   前記携帯端末と通信し、前記携帯端末から映像の歪み補正に関する情報を受信する第１の通信部と、
   前記携帯端末から受信した映像の歪み補正に関する情報に基づいて、前記投射部が投射する映像の歪を補正する歪補正部と、
   
   を有し、
   前記携帯端末は、
   前記投射部が投射した複数の前記計測用パターンを撮影するカメラ部と、
   前記カメラ部が撮影した複数の前記計測用パターンに基づいて映像の歪み補正に関する情報を生成する制御部と、
   前記第１の通信部と通信を行い、前記制御部が生成した前記映像の歪み補正に関する情報を前記映像表示装置に送信する第２の通信部と、
   を有し、
   前記計測用パターン発生部は、複数の前記計測用パターンに前記計測用パターンの基準位置を示す共通パターンをそれぞれ付加し、
   前記制御部は、複数の前記計測用パターンにそれぞれ付加された前記共通パターンに基づいて、前記映像の歪み補正に関する情報を生成する、表示システム。
2. 請求項１記載の表示システムにおいて、
   前記計測用パターン発生部が付加する前記共通パターンは、前記カメラ部が撮影した複数の前記計測用パターン画像の撮像位置の変化を補償する、表示システム。
3. 請求項１記載の表示システムにおいて、
   前記携帯端末は、
   前記共通パターンの輝度、色、および位置を選択するメニューを生成する共通パターン処理部と、
   前記共通パターン処理部が生成した前記メニューを表示する表示部と、
   を有し、
   前記計測用パターン発生部は、前記携帯端末から受信した前記メニューの選択結果に応じて前記共通パターンを変更させる、表示システム。
4. 請求項３記載の表示システムにおいて、
   前記制御部は、前記カメラ部が前記計測用パターンを撮影した際に前記共通パターンが判別できるか否かを判定し、前記共通パターンが判別できないと判定した際にアラートを出力する、表示システム。
5. 請求項４記載の表示システムにおいて、
   前記共通パターン処理部は、前記制御部が前記アラートを出力した際に前記共通パターンの輝度、色、または位置の少なくともいずれか１つを切り換えるメニューを生成する、表示システム。
6. 請求項４記載の表示システムにおいて、
   前記制御部は、前記アラートを出力した際に前記共通パターンの輝度、色、または位置の少なくともいずれか１つを変更する制御信号を前記計測用パターン発生部に送信し、
   前記計測用パターン発生部は、前記制御部が送信した前記制御信号に基づいて、前記共通パターンの輝度、色、または位置の少なくともいずれか１つを変更する、表示システム。
7. 映像表示装置と、映像を撮影するカメラ部が設けられる携帯端末と、を有する表示システムによる情報処理方法であって、
   前記映像表示装置が、複数の計測用パターンを生成するステップと、
   前記映像表示装置が、複数の計測用パターンに前記計測用パターンの基準位置を示す共通パターンを付加するステップと、
   前記映像表示装置が、前記共通パターンが付加された複数の前記計測用パターンを投射するステップと、
   前記携帯端末が、前記カメラ部によって撮影された前記映像表示装置が投射した複数の前記計測用パターンに基づいて映像の歪み補正に関する情報を生成するステップと、
   前記携帯端末が、前記映像表示装置に算出した前記映像の歪み補正に関する情報を送信するステップと、
   前記映像表示装置が、受信した前記映像の歪み補正に関する情報に基づいて、投射する映像の歪を補正するステップと、
   を有し、
   前記歪補正係数を算出するステップは、複数の前記計測用パターンにそれぞれ付加された前記共通パターンに基づいて、前記映像の歪み補正に関する情報を算出する、情報処理方法。
8. 請求項７記載の情報処理方法において、
   前記計測用パターンに付加する前記共通パターンは、前記計測用パターンと輝度または色の少なくともいずれか１つが異なる、情報処理方法。
9. 請求項７記載の情報処理方法において、
   前記携帯端末が、前記共通パターンの輝度、色、および位置を選択するメニューを生成するステップと、
   前記携帯端末が、生成した前記メニューを表示するステップと、
   前記映像表示装置が、前記携帯端末から送信された前記メニューの選択結果に応じて前記共通パターンを変更させるステップと、
   を有する、情報処理方法。
10. 請求項８記載の情報処理方法において、
    前記携帯端末が、前記計測用パターンを撮影した際に前記共通パターンが判別できるか否かを判定するステップと、
    前記携帯端末が、前記共通パターンが判別できないと判定した際にアラートを出力するステップと、
    を有する、情報処理方法。
11. 請求項１０記載の情報処理方法において、
    前記携帯端末が、前記アラートを出力した際に前記共通パターンの輝度、色、または位置の少なくともいずれか１つを切り換えるメニューを生成するステップを有する、情報処理方法。
12. 請求項１０記載の情報処理方法において、
    前記携帯端末が、前記アラートを出力した際に前記共通パターンの輝度、色、または位置の少なくともいずれか１つを変更する制御信号を前記映像表示装置に送信するステップと、
    前記映像表示装置が、前記携帯端末が送信した前記制御信号に基づいて、前記共通パターンの輝度、色、または位置の少なくともいずれか１つを変更するステップと、
    を有する、情報処理方法。

Images