JP6749402B2 - 投射型映像表示装置および投射映像の調整方法 - Google Patents

Description

本発明は、投射型映像表示装置および投射映像の調整方法に関し、特に、プロジェクタとスクリーンが正対していない際に発生する台形補正歪みの補正に有効な技術に関する。

安価に大画面の映像表示を行う映像表示装置、いわゆるプロジェクタは、プレゼン会場や教育現場などにて広く用いられている。プロジェクタの映像を幾何的な歪みなしに表示するには、プロジェクタとスクリーンが正対するように置くことが求められる。

しかしながら、プロジェクタを使用する際には、スクリーンの正面に視聴者がいるため、斜め方向からしか投射できないといったケースが存在する。この場合には、台形歪みと呼ばれる幾何的な歪みが発生する。

例えばスクリーンの上辺がプロジェクタに近く、下辺が遠くになるようにスクリーンが設置された場合に、プロジェクタから正方形の映像を投映すると、正方形の上辺が下辺よりも短く投映されるため、矩形の画像は、台形に歪んだ状態でスクリーン上に表示される。

実際には、上下方向だけでなく、左右方向にも同様の現象が発生する。そのため、プロジェクタから長方形の映像を投射した場合には、平行な辺のない歪んだ四角形として投映されうることになる。このように、平行な辺が存在しない場合も含めて、慣習的にこれらの歪みを台形歪みと総称する。

台形歪みは、歪を打ち消すようにあらかじめ投射する映像に台形歪みに相当する幾何変換とは逆方向の幾何補正を掛けておくことで、映像を正しい形状に表示することが可能となる。

この幾何補正、言い換えれば幾何変換は、透視変換または射影変換と呼ばれ、行列計算によって実現することが可能である。この行列を算出するためには、なんらかの技術によって投映対象物の形状や位置の情報を取得する必要がある。

これを実現するための１つの技術が、特許文献１に記載されている。この特許文献１の技術においては、投射対象であるスクリーン上にあらかじめ描かれた既知のパターンをカメラにて撮影することによってスクリーンの向きを取得し、これに合わせて映像を補正することで台形補正を行っている。

特開２００７−５３７８４号公報

しなしながら、上記した特許文献１の技術では、スクリーン上に描かれたパターンを利用して変換行列を算出する。そのため、そのパターンが描かれた特殊なスクリーンがなければ、投射画像の補正を行うことができないという問題がある。

また、上述のように、あらかじめパターンが描画された特殊なスクリーンが必要であるので、客先にプロジェクタを持参して壁に投射するといった用途には不向きであり、利便性が損なわれる恐れがある。

さらに、パターンが描画された特殊なスクリーンの場合、通常の映像投射時にもこのパターンが見えてしまい、視聴の妨げとなる恐れがある。これを防ぐために、赤外線吸収インクなど人間の目に見えない特殊なインクでパターンを描くことも可能であるが、その場合には、赤外線光源や赤外線カメラなどが必要になり、コストが増大するという問題がある。

また、スクリーンが傾いて設置されている場合、スクリーン上に描かれたパターンも傾いているため、投射される映像も傾いてしまうという問題がある。

本発明の目的はより好適に投射映像の歪みを補正することのできる技術を提供することにある。

本発明の前記ならびにその他の目的と新規な特徴については、本明細書の記述および添付図面から明らかになるであろう。

本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、次のとおりである。

すなわち、代表的な投射型映像表示装置は、映像変換部、映像投射部、撮像部、および演算部を有する。映像変換部は、外部から入力される映像に対して映像変換を行う。映像投射部は、記映像変換部が映像変換を行った映像を映像投射面に投射する。

撮像部は、映像投射部が投射する投射範囲および補正用物体を撮影した画像を取得する。演算部は、撮像部が撮影した画像を演算処理する。

また、演算部は、撮像部が撮影した映像投射部の投射範囲および補正用物体の画像から補正データを生成する。映像変換部は、演算部が生成する補正データに基づいて、映像投射部の投射映像の投射範囲が矩形となるように映像変換を行う。

特に、演算部は、検出部および変換行列算出部を有する。検出部は、撮像部が撮影した投射範囲および補正用物体の画像から投射範囲の４つのコーナ部の座標をそれぞれ示す第１の座標データと補正用物体の４つのコーナ部の座標をそれぞれ示す第２の座標データとをそれぞれ算出する。

変換行列算出部は、補正用物体の画像が矩形となる４つのコーナ部の座標をそれぞれ示す第３の座標データを算出し、および算出した第３の座標データと第２の座標データとの対応に基づいて、補正データとなる変換行列を算出する。

そして、映像変換部は、変換行列算出部が算出した変換行列を用いて、検出部が算出した第１の座標データに対する透視変換を行い、投射映像の投射範囲が矩形となるように映像を変換する。

本願において開示される発明のうち、代表的なものによって得られる効果を簡単に説明すれば以下のとおりである。

投射型映像表示装置における投射画像を容易に短時間で補正することができる。

実施の形態によるプロジェクタにおける外観の一例を示す説明図である。 図１のプロジェクタにおける構成の一例を示す説明図である。 図１のプロジェクタによる映像を投射の一例を示す説明図である。 図３のプロジェクタによる投射の一例において、壁面およびカードをカメラ位置から見た一例を示す説明図である。 図３のプロジェクタによる投射の一例において、壁面に正対する位置から見た一例を示す説明図である。 図３の他の例を示す説明図である。 図６のプロジェクタによる投射の一例において、壁面およびカードをカメラ位置から見た一例を示す説明図である。 図６のプロジェクタによる投射の一例において、壁面に正対する位置から見た一例を示す説明図である。 各座標系における処理例を示した説明図である。 図２のプロジェクタが有する変換行列算出回路による変換行列Ｍの算出処理の一例を示すフローチャートである。 実施の形態２におけるプロジェクタによる構成の一例を示す説明図である。 プロジェクタが水平面に対して傾いて置かれた場合の一例を示す説明図である。 図１２のプロジェクタが有するカメラによるカメラ映像の一例を示す説明図である。 各座標系における処理例を示した説明図である。 図１３のプロジェクタが有する変換行列算出回路による変換行列Ｍの算出処理の一例を示すフローチャートである。 実施の形態３によるプロジェクタにおける設置の一例を示す説明図である。 図１６の他の例を示す説明図である。 実施の形態４によるレンズキャップの一例を示す説明図である。 図１８の他の例を示す説明図である。 実施の形態５によるスマートフォンが有する液晶画面における表示の一例を示す説明図である。

以下の実施の形態においては便宜上その必要があるときは、複数のセクションまたは実施の形態に分割して説明するが、特に明示した場合を除き、それらはお互いに無関係なものではなく、一方は他方の一部または全部の変形例、詳細、補足説明等の関係にある。

また、以下の実施の形態において、要素の数等（個数、数値、量、範囲等を含む）に言及する場合、特に明示した場合および原理的に明らかに特定の数に限定される場合等を除き、その特定の数に限定されるものではなく、特定の数以上でも以下でもよい。

さらに、以下の実施の形態において、その構成要素（要素ステップ等も含む）は、特に明示した場合および原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではないことは言うまでもない。

同様に、以下の実施の形態において、構成要素等の形状、位置関係等に言及するときは特に明示した場合および原理的に明らかにそうではないと考えられる場合等を除き、実質的にその形状等に近似または類似するもの等を含むものとする。このことは、上記数値および範囲についても同様である。例えば、以下の実施の形態において、単に「鉛直」と表現した場合、厳密に「鉛直」な状態のみを意味するのではなく、「略鉛直」という概念に含まれる範囲を含んでいることを意味している。同様に、単に「水平」と表現した場合、厳密に「水平」な状態のみを意味するのではなく、「略水平」という概念に含まれる範囲を含んでいることを意味している。

また、実施の形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。なお、図面をわかりやすくするために平面図であってもハッチングを付す場合がある。

（実施の形態１）
〈概要〉
本実施の形態１によるプロジェクタ１０は、矩形のカード１を利用して台形歪みを補正する。プロジェクタ１０に内蔵されたカメラ３０の前にかざした矩形のカード１を撮影し、その向きを調整する。カメラ３０にて撮影したカード１の姿勢に応じて、プロジェクタ１０の幾何変換行列を変更することによって、直感的に台形補正歪みを調整することが可能である。

特に、水平方向と垂直方向の台形歪みが混在している際に、直感的に操作できることのメリットが大きくなる。矩形のカード１としては、名刺やＡ４のコピー用紙など、長方形の物体であれば何でも使用可能なため、外出先などでも簡単に入手することができる。

以下、実施の形態を詳細に説明する。

〈プロジェクタの外観例〉
図１は、本実施の形態によるプロジェクタ１０における外観の一例を示す説明図である。

プロジェクタ１０は、スクリーンなどに映像を投射する投射型映像表示装置である。このプロジェクタ１０の筐体のある１つの側面である前面には、投射用のレンズ１３が設けられている。

同じく、プロジェクタ１０の前面には、レンズ１３の上方にカメラ３０が設けられている。図１では、カメラ３０の本体は、プロジェクタ１０の筐体内に内蔵されており、該カメラ３０のレンズがプロジェクタ１０の前面に露出している例を示している。

また、撮像部であるカメラ３０は、プロジェクタ１０による映像投射範囲をカバーできるだけの画角を持っているものとする。ただし、プロジェクタ１０の構造は、これに限定されるものではなく、例えばカメラ３０がプロジェクタ１０に内蔵されていなくともよい。

〈プロジェクタの構成例〉
図２は、図１のプロジェクタ１０における構成の一例を示す説明図である。

プロジェクタ１０は、光源１１、光変調デバイス１２、レンズ１３、幾何変換回路２０、カメラ３０、四角形検出回路３１、変換行列算出回路３２、制御マイコン４１、およびタイミング生成回路４０を有する。

外部から入力される入力映像は、映像変換部となる幾何変換回路２０によって幾何変換された後、投射映像として光変調デバイス１２に出力する。プロジェクタ１０に入力される入力映像は、例えばプロジェクタ１０に接続されるパーソナルコンピュータなどから出力される映像データである。

光変調デバイス１２は、幾何変換回路２０から出力される投射映像に応じて光源１１からの光を変調する素子であり、例えば液晶パネルあるいはＤＭＤ（Digital Mirror Device）などが用いられる。光源１１は、投射用の照明光を発生する。

光源１１からの照明光は、光変調デバイス１２によって変調され、レンズ１３を通してプロジェクタ１０から出力された後、投射対象である壁面２またはスクリーンなどに照射される。これら光源１１、光変調デバイス１２、およびレンズ１３によって、映像投射部が構成される。

図２には記載していないが、一般的なプロジェクタでは、映像のカラー化のために光源１１や光変調デバイス１２を複数個搭載し、特殊なミラーなどを用いて光の合成や光路の折り曲げを行うものもあるが、そのようなプロジェクタに対しても有効である。

カラー画像を扱う場合、入力映像は、複数の色成分画像から構成されている。よって、幾何変換回路２０は、色成分の数だけ並列に処理するものとする。また、幾何変換回路２０が使用する変換行列Ｍは、各色成分で共通の行列を用いる。

ここで、幾何変換回路２０は、プロジェクタ１０と壁面２とが正対していないことによって生じる幾何歪み、いわゆる台形歪みの補正を行うための回路である。この幾何変換は、同次座標における３×３行列の乗算によって行われる。この演算の詳細については、後述する。

幾何変換回路２０にて使用する変換行列Ｍは、カメラ３０によって撮影された画像に対して、検出部となる四角形検出回路３１が四角形の領域を検出して、そこで得られた四角形の４頂点の座標などの基準点を用いて、変換行列算出回路３２が算出する。また、四角形検出回路３１および変換行列算出回路３２により、演算部が構成される。

なお、本実施の形態では、四角形検出回路３１や変換行列算出回路３２、および幾何変換回路２０が、それぞれ専用回路を用いる構成としているが、これらは、例えばＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）などを用いてソフトウェアによって処理しても構わない。

制御マイコン４１は、プロジェクタ１０における制御を司る。タイミング生成回路４０は、画像を表示する際のタイミング信号である垂直同期信号および水平同期信号などのクロック信号を生成する。

〈カードを用いたプロジェクタの投射例および補正例〉
図３は、図１のプロジェクタ１０による映像投射の一例を示す説明図である。この図３は、プロジェクタ１０が壁面２に映像を投射する例を示しており、プロジェクタ１０、壁面２、および後述するカード１の配置状況を真上から見た図である。

図３に示す例では、プロジェクタ１０が投射面である壁面２に対してある角度をつけて、言い換えれば投射面に正対するのではなく、投射面に対して斜め方向となるように配置されている。

プロジェクタ１０と壁面２とに間にあるカード１は、縦横比ａ：ｂの長方形などの矩形の形状をしたカードであり、補正用物体となる。このカード１は、専用のカードである必要はなく、例えば名刺やＡ４のコピー用紙などであってもよい。カード１は、使用者が手に持ってカメラ３０の撮影範囲内にかざして使用する。

壁面２は、平面の壁面であり、プロジェクタ投射範囲３は、プロジェクタ１０が投射する映像の投射可能な最大領域である。プロジェクタ１０と壁面２とが固定されていれば、プロジェクタ投射範囲３は一意に定まる。

図４は、図３のプロジェクタ１０による投射の一例において、壁面２およびカード１をカメラ位置から見た一例を示す説明図である。よって、図４は、図３に示すカメラ視点ＣＰから見た図である。

図５は、図３のプロジェクタ１０による投射の一例において、壁面２に正対する位置から見た一例を示す説明図である。よって、図５は、図３に示す正面視点ＦＰから見た図である。

プロジェクタ１０の映像を幾何変換によって補正した場合、補正後の映像は、図４および図５に示す実映像領域４に投射される。実映像領域４は、プロジェクタ投射範囲３内に包含され、プロジェクタ投射範囲３内において実映像領域４に含まれない領域は、黒色の映像領域として処理する。

カメラ３０とプロジェクタ１０のレンズ１３とが十分に近ければ、カメラ視点ＣＰからは図４に示すように、プロジェクタ投射範囲３が、壁面２とプロジェクタ１０の位置関係によらずほぼ長方形に見えることになる。これは、プロジェクタ１０が映像を壁面２に投射する際に発生する幾何歪みと、壁面２上の映像をカメラ３０で撮影するときの幾何歪みが互いに相殺し合うためである。

カード１については、カメラ３０に対するカード１の向きに応じて台形歪みが加わった四角形としてカメラ３０の位置から見えることになる。ただし、図３〜図５の例では、カード１がカメラ３０に正対する向きに置かれているものとする。このため、カメラ位置からはカード１も長方形に見えることになる。

図４および図５における壁面２の外枠は、壁面２の向きを図中に示して把握しやすくするために、壁面２に長方形が描かれている場合を想定して、それぞれからの視点からこの長方形がどのように見えるかを示している。

一方、壁面２に正対する位置、すなわち正面視点ＦＰから見ると、図５に示すようにプロジェクタ投射範囲３には台形歪みが発生し、歪んだ四角形として見えることになる。この例では、説明を簡単にするために水平方向の台形歪みのみが発生しているケースを想定しているが、垂直方向の台形歪みが同時に発生している場合であっても、有効である。壁面２に正対する位置から見ると、カード１にも台形歪みが発生することになる。

変換行列算出回路３２は、カメラ視点ＣＰから見た際のカード１の形状に基づいて、幾何変換行列である変換行列Ｍを算出し、幾何変換回路２０がこの変換行列Ｍを用いて入力映像に対して幾何変換を行い、その結果を投射する。変換行列Ｍは、補正データとなる。

図３の位置関係では、カメラ視点ＣＰから見たときにカード１には歪みが発生せず、長方形に見える。このため、入力映像から投射映像への幾何変換は、解像度変換のためのスケーリング処理のみとなり、形状は変化しない。

そのため、図４、図５のどちらにおいても、プロジェクタ投射範囲３全体に映像が投射されることになる。すなわち、壁面２上で映像が表示される領域である実映像領域４とプロジェクタ投射範囲３は完全に一致する。なお、図４および図５では、両者が重ならないように少しずらして描いているが、実際には完全に重なっている。

なお、図４および図５において、実映像領域４は、点線にて示す領域であり、プロジェクタ投射範囲３は、実線にて示す領域である。

続いて、カード１が壁面２と平行になるようにかざした場合について考える。

図６は、図３の他の例を示す説明図である。この図６では、カード１が壁面２と平行になるようにかざされている。なお、図６は、図３と同様にプロジェクタ１０が壁面２に映像を投射している例を示しており、プロジェクタ１０、壁面２、およびカード１の配置状況を真上から見た図である。

図７は、図６のプロジェクタ１０による投射の一例において、壁面２およびカード１をカメラ位置から見た一例を示す説明図である。よって、図７は、図６に示すカメラ視点ＣＰから見た図である。

図８は、図６のプロジェクタ１０による投射の一例において、壁面２に正対する位置から見た一例を示す説明図である。よって、図８は、図６に示す正面視点ＦＰから見た図である。

図７において、カード１は、カメラ３０と正対していないために台形歪みが発生して見えることになる。この場合には、この歪みの形状をカメラ３０の撮影画像から特定し、これに基づいて変換行列Ｍを算出し、この行列による幾何変換を入力映像に対して適用する。これにより、入力映像は、実映像領域４の範囲に変換されることになる。

正面視点ＦＰから見ると、カード１は、カード本来の縦横比（ａ：ｂ）を維持した長方形に見える、これと同様に、図８に示すように、実映像領域４は、プロジェクタ本来の縦横比、すなわち台形歪みが発生しないようにプロジェクタを設置した際の縦横比＝Ａ：Ｂの長方形として投射することが可能となる。

以上のように、プロジェクタ１０は、カメラ３０によりカード１を撮影した際の台形歪み形状に基づいて、変換行列Ｍを算出し、これを用いて幾何変換回路２０によって入力映像に対して幾何変換を行い、得られた映像を壁面２へ投射する。

このようにすることによって、カード１の向きを変えるとそれに連動して、あたかも壁を動かしているかのように、壁面２上に投射された映像を変形させて台形歪みを調整することが可能となる。

この技術では、壁面２とカード１が平行になったときに、壁面２に正対した視点位置ＦＰから見たときのプロジェクタ投射映像の台形歪みがなくなるため、直感的な調整が可能となる。

〈変換行列Ｍの算出処理例〉
続いて、変換行列算出回路３２がカメラ３０が撮影したカード１の形状に基づいて、変換行列Ｍを算出する技術について説明する。

プロジェクタ１０による映像投射やカメラ３０による撮影では、透視変換と呼ばれる変換に基づいて画像が変形されることになる。透視変換を行うことによって、実世界と同様に近くにある物体は大きく、遠くにある物体は小さく表示される。

透視変換によって、ある座標系の点（ｘｉ，ｙｉ）が、別の座標系の点（ｘｏ，ｙｏ）に変換されるとき、両者の間には式１の関係が成り立っている。

この式は同次座標で書かれており、ｘｏとｙｏは、以下に示す式２ａ、式２ｂによって求めることができる。

式１の中の３×３行列が透視変換を規定する変換行列である。この変換行列は、行列の要素であるａ００〜ａ２１までの８個の変数を求めることにより特定することができる。８個の未知数を求めるには、８本の方程式が必要であり、そのためには、（ｘｉ，ｙｉ）と（ｘｏ，ｙｏ）との組を４つ知ることができればよい。すなわち、透視変換前の映像上の４点の座標が、それぞれどの座標に変換されるかが判れば変換行列を求めることが可能である。ここでは、これを用いて、変換行列Ｍを算出する。

続いて、透視変換の変換行列Ｍを算出する技術について、図９および図１０を用いて説明する。

図９は、各座標系における処理例を示した説明図である。この図９は、変換行列Ｍを算出する過程で必要となる３つの座標系をそれぞれ表している。各座標系は、右に行くにつれてＸ座標が、下に行くにつれてＹ座標が増加する二次元のＸＹ座標系である。

以下、各座標系について示す。

まず、図９（ａ）に示す座標系は、カメラ座標系である。このカメラ座標系は、カメラ３０によって撮影された映像全体を表すための座標系である。カメラ画像の解像度を（ｃｘ，ｃｙ）とすると、左上画素の座標は（０，０）、右下画素の座標は（ｃｘ−１，ｃｙ−１）となる。

図９（ｂ）および図９（ｃ）に示す座標系は、それぞれ正面視座標系である。正面視座標系は、壁面２を正面から見たときの座標系である。壁面２上の座標系と同じ意味合いを持つ。壁面２上には、基準となる長さや基準点が存在しないため、原点や縮尺は自由に決定することが可能である。

図９（ｄ）に示す座標系は、入力映像座標系である。入力映像座標系は、入力映像における座標系である。入力映像の解像度を（ｂｘ，ｂｙ）とすると、左上画素の座標は（０，０）、右下画素の座標は（ｂｘ−１，ｂｙ−１）となる。

図９に示すこれらの座標系および図１０のフローチャートを用いて、変換行列Ｍの算出処理について順次説明していく。

図１０は、図２のプロジェクタ１０が有する変換行列算出回路３２による変換行列Ｍの算出処理の一例を示すフローチャートである。

まず、プロジェクタ１０から投射範囲全域に全白のベタ画像（長方形）を投射する。これをカメラ３０で撮影して、四角形検出回路３１により、プロジェクタ投射範囲３に相当する四角形を抽出後、第１の座標データとなるカメラ座標系における４隅の座標を求める（ステップＳ１０１）。すなわち、この場合は、プロジェクタ投射範囲３の４隅の座標をプロジェクタ投射範囲３の基準点としている。これは、図９（ａ）において、丸印の付いた４つの頂点の座標を求めることに相当する。この作業はプロジェクタ１０の設置時に一度だけ行えばよい。

続いて、四角形検出回路３１は、カメラ３０の撮影映像中に含まれるカード１の領域を抽出して、第２の座標データとなるカメラ座標系における４隅の座標を求める（ステップＳ１０２）。すなわち、この場合は、カード１の４隅の座標をカード１の基準点としている。

これは、図９（ａ）において、菱形印が付いた４つの頂点の座標を求めることに相当する。基準点となるこれらの座標は、カード１の姿勢が変わると変化するため、カード１を操作している時には、定期的に求める必要がある。

そして、カード１の縦横比ａ：ｂを基準として、第３の座標データとなる新しい座標系である正面視座標系を規定する（ステップＳ１０３）。この座標系では、カード１が縦横比ａ：ｂの長方形として表現される。本座標系は、仮想的な座標系であり、原点位置や縮尺は、自由に規定可能である。

ここでは、カード１の左上を原点（０，０）とし、カード１の横幅を長さ１と規定する。この場合カード１の高さはａ／ｂで表される。正面視座標形におけるカード１の４つの頂点は、図９（ｂ）の菱形印に対応する。

前述したように、２つの座標系間の透視変換行列は、変換前後の座標系における４点の座標があれば導出することができる。すなわち、ステップＳ１０２の処理およびステップＳ１０３の処理にて求めたカード１の４頂点の座標から、カメラ座標系から正面視座標系への透視変換行列を算出する（ステップＳ１０４）。

ステップＳ１０１の処理にて求めたカメラ座標系におけるプロジェクタ投射範囲３の４つの頂点座標に対して、ステップＳ１０４の処理にて求めた変換行列を用いて透視変換を行うことにより、正面視座標系におけるプロジェクタ投射範囲３の４つの頂点の座標を得ることができる（ステップＳ１０５）。

図１０に示す処理の目的は、壁面２に正対した視点から、カード１が縦横比ａ：ｂの長方形に見えるときにプロジェクタ１０の映像がプロジェクタ本来の縦横比（Ａ：Ｂ）の長方形に投射されることである。

これを実現するには、正面視座標系において実映像領域４が縦横比Ａ：Ｂの長方形となればよい。ステップＳ１０５の処理よりプロジェクタ投射範囲３の４隅の座標が既知となっているため、これに包含される縦横比Ａ：Ｂの長方形を規定して、その４隅の座標を求めることが可能である（ステップＳ１０６）。これは、図９（ｃ）において、三角印の付いた４頂点の座標を求めることに相当する。

続いて、入力映像の左上を原点（０，０）とした座標系である入力映像座標系について考える。この座標系では、入力映像の４頂点の座標は、前述の座標系の定義から求まる（ステップＳ１０７）。これは、図９（ｄ）において、丸印の付いた４頂点に対応する。

入力映像５は、正面視座標系ではステップＳ１０５の処理にて求めた４点を頂点とする四角形となり、入力映像座標系ではステップＳ１０７の処理にて求めた４点を頂点とする四角形となる。４点の座標の対応関係が判明しているので、これを用いて、正面視座標系から入力映像座標系の透視変換行列を算出する（ステップＳ１０８）。

ステップＳ１０８の処理にて求めた透視変換行列を用いて、ステップＳ１０６の処理により求めた４頂点の座標を変換すると、カメラ映像中のカード１の形状に応じた台形補正を行った後の入力映像５の４頂点の入力映像座標系における座標を求めることができる（ステップＳ１０９）。これは、図９（ｄ）において、三角印の付いた４頂点に対応する。

そして、ステップＳ１０７の処理にて求めた台形補正前の入力映像５の４頂点の座標およびステップＳ１０９の処理にて求めた台形補正後の入力映像５の４頂点の座標から、入力映像座標系における台形補正のための変換行列Ｍを求める（ステップＳ１１０）。

以上の処理により、カメラ画像中のカード１の向きに応じた台形補正を行うための変換行列Ｍが求まる。幾何変換回路２０は、変換行列Ｍを適用して幾何学補正、すなわち台形歪みの補正を行う（ステップＳ１１１）。

以上により、プロジェクタ１０の前にカード１をかざすだけで、投射映像の台形補正の調整を行うことができる。

これにより、パターンが印刷された特殊なスクリーンなどを用いることなく、短時間で容易に投射映像の補正処理を実現することができる。また、パターンが印刷された特殊なスクリーンなどが不要となるので、利便性を向上することができる。

（実施の形態２）
〈概要〉
前記実施の形態１では、図１０のステップＳ１０６の処理にてカード１の長方形を基準とした座標軸に合わせて、実映像領域４の長方形を規定していた。そのため、カード１が完全に水平ではなく、傾いて保持されている場合には、実映像領域４もそれに合わせて傾いてしまうことになる。

これは、利用者がカードの操作により投射映像の傾きも調整したい場合には便利な機能である反面、映像を常に水平を保って投射したい場合には、カード１の僅かな傾きが、映像を傾きに結びつくため不便なことがある。

よって、本実施の形態２においては、カード１の傾きが投射映像の傾きに影響しない技術について説明する。プロジェクタ１０の傾きは、プロジェクタ１０に内蔵された重力センサ５０を用いて取得する。幾何変換行列算出時には、プロジェクタ１０の傾きを考慮することにより、カード１が完全に水平になっていない場合であっても、投射映像が水平になるように補正することができるそれにより、カード１を厳密に水平に保つ必要がなく、より使い勝手を向上させることが可能となる。

〈プロジェクタの構成例〉
図１１は、本実施の形態２におけるプロジェクタ１０による構成の一例を示す説明図である。

図１１に示すプロジェクタ１０が前記実施の形態１の図２のプロジェクタと異なるところは、重力センサ５０が新たに追加されている点である。その他の構成については、前記実施の形態１の図２と同様であるので説明は省略する。

傾きセンサである重力センサ５０は、プロジェクタ１０の傾きを検知する。この重力センサ５０は、例えばスマートフォンなどに使われている加速度センサと同様に重力の働く向きを検知可能なデバイスである。この重力センサ５０を用いることにより、プロジェクタ１０が水平面に対してどの程度傾いているかを検出することができる。

〈カードを用いたプロジェクタの投射例および補正例〉
図１２は、プロジェクタ１０が水平面に対して傾いて置かれた場合の一例を示す説明図である。図１３は、図１２のプロジェクタ１０が有するカメラ３０によるカメラ映像の一例を示す説明図である。

プロジェクタ１０は、図１２に示すように、鉛直軸に対してある角度が付くように置かれている。重力センサ５０を設けることにより、プロジェクタ１０の中心軸が鉛直方向となす角θを求めることが可能となる。

ここで、カード１が実際の水平方向から角αだけ傾けて保持されている場合を考えると、カメラ３０の映像は、図１３のようになる。この図１３において、水平線８０は、実際の水平方向を示した線であり、実際のカメラ映像には写っていない。

ここでは、重力センサ５０の検出結果を用いて、カード１の傾きαによる影響を取り除いた状態でプロジェクタ１０の投射映像の幾何補正を行う。プロジェクタ１０それ自体の傾き角θについては、カメラ３０による撮影時とプロジェクタ１０による映像投射時の両方に逆方向に作用するため、最終的に相殺される。そのため、変換行列Ｍを算出する際には、角θの影響は考慮せず、カード１の傾き角αのみを考慮すればよいことになる。

図１３に示すカメラ映像からは、カメラ座標系におけるカード１の傾き角であるα＋θの値を求めることが可能である。一方、重力センサ５０の検出値からはθを求めることができるので、両者の間で減算を行うことで角度αの値を求めることができる。これらの処理は、例えば変換行列算出回路３２が行う。

〈変換行列Ｍの算出処理例〉
この角度αを考慮して変換行列Ｍを求める際の処理について、図１４および図１５を用いて説明する。

図１４は、各座標系における処理例を示した説明図である。図１５は、図１３のプロジェクタ１０が有する変換行列算出回路３２による変換行列Ｍの算出処理の一例を示すフローチャートである。

図１４は、前記実施の形態図９と同様に変換行列Ｍを算出する過程で必要となる３つの座標系をそれぞれ表しており、図１４（ａ）は、カメラ座標系を示し、図１４（ｂ）、図１４（ｃ）は、正面視座標系をそれぞれ示す。図１４（ｄ）は、入力映像座標系を示す。

ここでは、基本的な流れが前記実施の形態１の図９および図１０と共通であるため、相違がある部分のみを説明する。

まず、図１４（ａ）に示すカメラ画像座標系において、カード１は、α＋θだけ傾いた状態により撮影されることになり、前述のように撮影画像と重力センサの測定値から角度αを算出することが可能となる（ステップＳ２０１）。

また、ステップＳ２０３の処理においては、このαを用いてカード１が縦横比ａ：ｂであり、角度αだけ傾いた長方形となるように正面視座標系を規定する。縮尺については、実施の形態１と同じ考え方を適用する。

その他の処理については、実施の形態１の図１０と同様の処理を行うことにより、変換行列Ｍを求める。この変換行列Ｍを用いて透視変換を実行することにより、投射映像の台形補正を行うことができる。

以上により、カード１が傾いている場合であっても、投射映像の補正処理を行うことができるので、より利便性を高めることができる。

（実施の形態３）
〈概要〉
前記実施の形態１では、投射映像の傾きがカード１の傾きに連動するように投射映像を変換する。これにより使用者がカードを操作することにより、投射映像の傾きを簡単に調整できるようになっていた。

一方、前記実施の形態２では、カード１の傾きが投射映像の傾きに影響を与えない。そのため、カード１を厳密に水平に保つ必要性がなく、映像を常に水平に投射したいケースでは使い勝手の良いシステムとなっていた。

本実施の形態３においては、両者を切り換える機構を有するプロジェクタ１０について説明する。まず、プロジェクタ１０が投射映像中に投射する図示しない操作メニューにモード切り替えを追加し、前記実施の形態１の図１０の処理(第１のモード)および前記実施の形態２の図１５の処理(第２のモード)をそれぞれ選択することができるようにする。これは、ユーザの好みにより、前記実施の形態１の図１０の処理および前記実施の形態２の図１５の処理のいずれを行うかを手動で選択できるようにしたものである。なお、プロジェクタ１０の構成は、前記実施の形態２の図１１に示すプロジェクタ１０と同様である。これらのモード変更は制御マイコン４１が各回路を制御することにより実現すればよい。

以上により、映像変換後の映像を水平に保つモードと、映像変換後の映像を補正用操作物体であるカードの傾きと連動させるモードとを、ユーザの好みによって選択することができる。
これにより、一層使い勝手のよいプロジェクタ１０を提供することができる。

次に、本実施の形態３の変形例として、上述の第１のモードと第２のモードの選択を自動的に変更する例について説明する。

〈プロジェクタの設置例〉
図１６は、本実施の形態３の変形例によるプロジェクタ１０における設置の一例を示す説明図である。図１７は、図１６の他の例を示す説明図である。図１６は、プロジェクタ１０を横向きに設置した際の例を示しており、図１７は、プロジェクタ１０を縦向きに設置した際の例を示している。

本実施の形態３の変形例では、上述した操作メニューのモードの切り替えは、例えば図１１の重力センサ５０を用いて自動的に行うことが可能である。図１６に示すように、プロジェクタ１０を横向きに設置して、鉛直なスクリーンに対して映像を投射する場合には、前記実施の形態２の図１５に示したようにカード１の回転方向の傾きを考慮せずに、常に投射映像が水平になるように投射されると便利である。すなわち、プロジェクタ１０が鉛直なスクリーンに対して映像を投射する場合には、制御マイコン４１は第２のモードを選択する制御を行う。

一方、図１７に示すように、プロジェクタ１０を縦向きに置き、上方から机などの水平な面に対して映像を投射する場合には、前記実施の形態２にて示したような重力センサ５０を利用した処理が意味を持たないことなる。その場合には、前記実施の形態１の図１０による処理を行うのが妥当である。すなわち、プロジェクタ１０が水平な面に対して映像を投射する場合には、制御マイコン４１は第１のモードを選択する制御を行う。

プロジェクタ１０の使用形態が図１６または図１７のいずれに該当するかは、図１１の重力センサ５０の検出結果によって、プロジェクタ１０の設置姿勢を判断することにより判別できる。

制御マイコン４１は、図１１の重力センサ５０の検出結果に基づいて、変換行列算出回路３２における変換行列算出の処理を第１のモード（図１０の処理）もしくは第２のモード（図１５の処理）のいずれかの処理を選択して使用するように制御する。これにより、モード切り替えの自動化を実現することができる。

なお、上述の例では、プロジェクタ１０が鉛直なスクリーンに対して映像を投射する場合には、制御マイコン４１は第２のモードを選択する制御を行う、と説明した。しかしながら、プロジェクタ１０が鉛直なスクリーンに対して映像を投射する場合について、第２のモードの強制選択とせず、あらかじめメニューを介してユーザの好みにより選択されたモードとなるように制御してもよい。

以上により、プロジェクタ１０が縦向きに設置された場合と、横向きのいずれに設置された場合とのいずれの場合であっても、映像変換後の映像を水平に保つモードと、映像変換後の映像を補正用操作物体であるカードの傾きと連動させるモードとを好適に選択することができる。これにより、一層使い勝手のよいプロジェクタ１０を提供することができる。

（実施の形態４）
〈概要〉
前記実施の形態１〜３では、上述したようにカード１として名刺やＡ４用紙のようなものを想定したが、これらのものがプロジェクタ１０を使用する際に近くに見あたらないケースも発生しうる。

〈レンズキャップの構成例〉
本実施の形態４においては、このような場合に備えて、プロジェクタ１０の付属品によって、カード１に相当する機能を実現する技術について説明する。

図１８は、本実施の形態４によるレンズキャップ１５の一例を示す説明図である。

図１８に示すレンズキャップ１５は、プロジェクタ１０が有するレンズ１３に装着するものであり、例えばプロジェクタ１０が使用されていない場合などに装着して、該レンズ１３のレンズ面を保護する。

このレンズキャップ１５の裏側には、図３のカード１の代用として使用される白い長方形のラベル１９が貼り付けられている。カード１が見あたらない場合でも、その代用品としてレンズキャップ１５をカメラ３０の前にかざすことにより、カード１と同等の機能を有することになり、幾何補正を行うことができる。

続いて、レンズキャップ１５の他の例について説明する。図１９は、図１８の他の例を示す説明図である。

〈レンズキャップの他の構成例〉
図１９に示すレンズキャップ１５が、図１８のレンズキャップ１５と異なる点は、レンズキャップ１５の裏側の長方形のラベル１９に二次元バーコード１６などの特殊なパターンが印刷されているところである。

このように、ラベル１９に二次元バーコード１６を印刷することによって、カメラ映像に特殊なパターン、すなわち二次元バーコード１６が存在する場合には、自動的にカメラ３０を用いた幾何補正を行うモードに切り替えることができる。二次元バーコード１６が存在する場合には、自動的に前記実施の形態１〜３に示した投射映像の台形補正を行うことができる。

補正処理パターンである二次元バーコード１６が存在するか否かの判定は、例えば図２の四角形検出回路３１などが行う。あるいは、制御マイコン４１が判定するようにしてもよい。

なお、ここでは、ラベル１９に二次元バーコード１６を印刷する構成としたが、例えば前記実施の形態１〜３におけるカード１に二次元バーコード１６を印刷するようにしてもよい。

その場合、カード１に二次元バーコード１６が存在する際には、自動的にカメラを用いた幾何補正を行うモードに切り替えることができる。

以上により、カード１などがない場合であっても、容易に投射映像を補正することができるので、投射映像の補正処理をより簡単に短時間で行うことができる。

（実施の形態５）
〈概要〉
本実施の形態５においては、カード１の代用としてスマートフォンなどを用いる技術について説明する。

この場合、スマートフォンが有する液晶画面を全白状態にして、カード１の代用とする。そして、その液晶画面を図２のカメラ３０の前にかざすことにより、カード１の代用として投射映像の補正処理を行う。

上述した実施の形態１〜４では、カード１の縦横比の情報が必要であったが、スマートフォンの画面の縦横比は機種毎異なる。よって、例えば１６：９などのように、標準的な縦横比を仮定して処理を進める。

〈液晶画面の表示例〉
図２０は、本実施の形態５によるスマートフォン１８が有する液晶画面１７における表示の一例を示す説明図である。

その他にも、図２０に示すように、スマートフォン１８の液晶画面１７に二次元バーコード１６を表示するようにしてもよい。この二次元バーコード１６は、前記実施の形態４の図１９の二次元バーコード１６と同様である。そして、液晶画面１７に表示した二次元バーコード１６の組み合わせによって、画面の縦横比の情報をプロジェクタ１０に通知する。

この場合、図２のプロジェクタ１０は、カメラ映像中に現れた二次元バーコード１６を例えば図２の制御マイコン４１などがデコードして縦横比の情報を取得して、図２の変換行列Ｍの算出に利用する。

以上によっても、カード１などがない場合であっても投射映像を補正することができるので、投射映像の補正処理を簡単に短時間で行うことができる。

以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は前記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。

なお、本発明は上記した実施の形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。

また、ある実施の形態の構成の一部を他の実施の形態の構成に置き換えることが可能であり、また、ある実施の形態の構成に他の実施の形態の構成を加えることも可能である。また、各実施の形態の構成の一部について、他の構成の追加、削除、置換をすることが可能である。

１ カード
１０ プロジェクタ
１１ 光源
１２ 光変調デバイス
１３ 投射用レンズ
１３ レンズ
１４ 制御マイコン
１５ レンズキャップ
１６ 二次元バーコード
１９ ラベル
１７ 液晶画面
１８ スマートフォン
２０ 幾何変換回路
３０ カメラ
３１ 四角形検出回路
３２ 変換行列算出回路
４０ タイミング生成回路
４１ 制御マイコン
５０ 重力センサ

Claims (11)

1. 映像を投射する投射型映像表示装置であって、
   外部から入力される映像に対して映像変換を行う映像変換部と、
   前記映像変換部にて映像変換した前記映像を映像投射面に投射する映像投射部と、
   前記映像投射部が投射する投射映像の投射範囲および補正用物体を撮影した画像を取得する撮像部と、
   前記撮像部が撮影した前記画像を用いた演算処理を行う演算部と、
   を有し、
   前記演算部は、前記撮像部が撮影した前記映像投射部の投射範囲および前記補正用物体の画像から補正データを生成し、
   前記映像変換部は、前記演算部が生成する前記補正データに基づいて、前記映像投射部による投射映像の投射範囲が映像投射面上で矩形となるように映像変換を行い、
   前記補正用物体は、前記映像投射面と同一平面内に存在しない、
   投射型映像表示装置。
2. 請求項１記載の投射型映像表示装置において、
   前記演算部は、
   前記撮像部が撮影した画像に基づいて、前記投射範囲における基準点となる座標および前記補正用物体の画像の基準点となる座標を算出し、これらの座標を用いた演算処理を行い、前記補正データとなる変換行列を算出し、
   前記映像変換部は、前記変換行列を用いた変換処理により前記投射映像の投射範囲が矩形となるように映像を変換する、投射型映像表示装置。
3. 請求項１記載の投射型映像表示装置において、
   前記演算部は、
   前記撮像部が撮影した前記投射範囲および前記補正用物体の画像から前記投射範囲の４つのコーナ部の座標をそれぞれ示す第１の座標データと前記補正用物体の４つのコーナ部の座標をそれぞれ示す第２の座標データとをそれぞれ算出する検出部と、
   前記補正用物体の画像が矩形となる４つのコーナ部の座標をそれぞれ示す第３の座標データを算出し、および算出した前記第３の座標データと前記第２の座標データとの対応に基づいて、前記補正データとなる変換行列を算出する変換行列算出部と、
   を有し、
   前記映像変換部は、前記変換行列算出部が算出した前記変換行列を用いて、前記検出部が算出した前記第１の座標データに対する透視変換を行い、前記投射映像の投射範囲が矩形となるように映像を変換する、投射型映像表示装置。
4. 請求項１〜３のいずれか１項に記載の投射型映像表示装置において、
   前記投射型映像表示装置が光軸方向周りで回転することによって生じる傾きを検出する傾きセンサを有し、
   前記演算部は、前記傾きセンサの検出結果を用いて、前記映像変換部による映像変換後の矩形の前記投射映像の投射範囲の下辺が水平となるように、前記補正データを生成する、
   投射型映像表示装置。
5. 請求項１記載の投射型映像表示装置において、
   前記投射型映像表示装置の傾きを検出する傾きセンサと、
   前記演算部と前記映像変換部とを制御する制御部を備え、
   前記制御部は、
   前記演算部が前記映像変換部による変換処理がなされた後の前記投射映像の投射範囲の矩形が前記補正用物体の傾きと連動して傾くように前記補正データを生成するように前記演算部と前記映像変換部とを制御する第１のモードと、
   前記傾きセンサの傾き検出結果を用いて、前記演算部が前記映像変換部による変換処理がなされた後の前記投射映像の投射範囲の矩形の下辺が水平となるように前記補正データを生成するように前記演算部と前記映像変換部とを制御する第２のモードと、
   を切り替え可能とする、投射型映像表示装置。
6. 請求項１記載の投射型映像表示装置において、
   前記補正用物体は、長方形状のカードである、投射型映像表示装置。
7. 請求項６記載の投射型映像表示装置において、
   前記カードは、前記映像投射部が有するレンズを保護するレンズキャップに設けられる、投射型映像表示装置。
8. 請求項７記載の投射型映像表示装置において、
   前記演算部と前記映像変換部とを制御する制御部を備え、
   前記制御部は、前記撮像部が撮影した前記カードの画像に所定の補正処理パターンがあるか否かを判定し、前記所定の補正処理パターンがある場合に前記映像変換を行うように、前記演算部と前記映像変換部とを制御する、投射型映像表示装置。
9. 外部から入力される映像に対して映像変換を行う映像変換部と、前記映像変換部で映像変換した前記映像を映像投射面に投射する映像投射部と、前記映像投射部が投射する投射範囲および補正用物体を撮影した画像を取得する撮像部と、前記撮像部が撮影した前記画像を演算処理する演算部と、を有する投射型映像表示装置による投射映像の調整方法であって、
   前記補正用物体は、前記映像投射面と同一平面内に存在せず、
   前記撮像部が、前記映像投射部が投射する投射範囲および補正用物体の画像を撮影するステップと、
   前記演算部が、前記撮像部が撮影した前記投射範囲および前記補正用物体の画像から補正データを生成するステップと、
   前記映像変換部が、前記演算部が生成する前記補正データに基づいて、前記映像投射部の投射映像の投射範囲が矩形となるように映像変換を行うステップと、
   を有する、投射映像の調整方法。
10. 請求項９記載の投射映像の調整方法において、
    前記補正データを生成するステップでは、前記撮像部が撮影した画像にもとづいて、前記投射範囲における基準点となる座標および前記補正用物体の画像の基準点となる座標を算出し、これらの座標を用いた演算処理を行い、前記補正データとなる変換行列を算出し、
    前記映像変換を行うステップでは、前記変換行列を用いた変換処理により前記投射映像の投射範囲が矩形となるように映像を変換する、投射映像の調整方法。
11. 請求項９記載の投射映像の調整方法において、
    前記補正データを生成するステップは、
    前記撮像部が取得した前記投射範囲および前記補正用物体の画像から前記投射範囲の４つのコーナ部の座標をそれぞれ示す第１の座標データと前記補正用物体の４つのコーナ部の座標をそれぞれ示す第２の座標データとを算出するステップと、
    前記補正用物体の画像が矩形となる４つのコーナ部の座標をそれぞれ示す第３の座標データを算出するステップと、
    前記第２の座標データと前記第３の座標データとの対応に基づいて、補正データとなる変換行列を算出するステップと、
    を有し、
    前記映像変換を行うステップは、前記変換行列を用いて、前記投射範囲における前記第１の座標データに対する透視変換を行い、前記投射映像の投射範囲が矩形となるように調整する、投射映像の調整方法。
    

Images