JP6508874B2

JP6508874B2 - 映像投影装置、映像投影方法、およびコンピュータプログラム

Info

Publication number: JP6508874B2
Application number: JP2014007977A
Authority: JP
Inventors: 直樹小嶋
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2014-01-20
Filing date: 2014-01-20
Publication date: 2019-05-08
Anticipated expiration: 2034-01-20
Also published as: JP2015139004A; US9516289B2; US20150208047A1

Description

本発明は、映像投影装置、映像投影方法、およびコンピュータプログラムに関し、特に、映像を投影するために用いて好適なものである。

映像投影装置は、投影用スクリーンがない環境であっても、会議室の壁などに画像を投影することができる。したがって、映像投影装置を用いれば、投影用スクリーン以外の領域に投影された画像を視聴することができる。このように、投影用スクリーン以外の領域に画像を投影して視聴することが、映像投影装置の一般的なユースケースとなってきている。

しかしながら、壁には、投影用スクリーンのように常に平らで継ぎ目のない投影領域が確保されているわけではない。例えば、壁が石膏ボードを並べて貼って構成されていたとする。このような壁では、石膏ボードの継ぎ目に隙間が生じる。この継ぎ目の部分に画像中の文字が投影された場合、文字を判別しづらいという課題があった。
そこで、特許文献１、２には、投影した画像が欠落する領域を検出し、当該領域を避けるように画像を分割・縮小することが記載されている。

特開２０１１−５００１３号公報特開２０１３−６４８２７号公報

しかしながら、特許文献１、２に記載の技術では、入力画像が何であれ、投影に適さない領域を中心に画像を分割して投影する。よって、分割する領域に文字が含まれている場合、投影に適さない領域を挟んで文字が左右や上下に分割されて投影されることになり、当該文字が視認されづらくなるという課題がある。分割する領域に文字以外の特定のオブジェクトが含まれている場合であっても同じ課題が生じる。

本発明は、このような課題に鑑みてなされたものであり、視認しづらくなる領域を避けるために画像を分割して投影する際に、当該画像に含まれるオブジェクトが視認されづらくなることを抑制することを目的とする。

本発明の映像投影装置は、入力画像に応じた画像を投影手段に投影させない非投影領域を特定する特定手段と、前記入力画像に含まれる所定のオブジェクトが前記特定手段により特定された前記非投影領域の何れによっても分割されないように、前記入力画像を分割する分割手段と、前記分割手段により分割された入力画像を前記投影手段に投影させる投影制御手段と、前記分割手段により分割された入力画像のうち、所定の帯状領域を除く領域の画像が、前記非投影領域に投影されないように、当該所定の帯状領域を除く領域の位置を水平方向に移動する移動手段と、前記分割手段により分割された入力画像を縮小する縮小手段と、を有し、前記縮小手段は、前記分割手段により分割された入力画像のうち、前記所定の帯状領域を除く領域を、その大きさを変更せずに前記所定の帯状領域の上に重なるように移動すれば当該所定の帯状領域を除く領域の全てを表示することができる場合には、当該所定の帯状領域を除く領域を縮小せず、そうでない場合には、当該所定の帯状領域を除く領域の水平方向の長さと前記所定の帯状領域の水平方向の長さとの差に基づいて、当該所定の帯状領域を除く領域を縮小し、前記移動手段は、前記縮小手段により、前記所定の帯状領域を除く領域が縮小された場合には、当該縮小された所定の帯状領域を除く領域の少なくとも一部の領域が前記所定の帯状領域の少なくとも一部の領域の上に重なるように、当該縮小された所定の帯状領域を除く領域の位置を水平方向に移動し、前記縮小手段により、前記所定の帯状領域を除く領域が縮小されていない場合には、当該所定の帯状領域を除く領域の大きさを変えずに、当該当該所定の帯状領域を除く領域の少なくとも一部の領域が前記所定の帯状領域の少なくとも一部の領域の上に重なるように、当該所定の帯状領域を除く領域の位置を水平方向に移動し、前記投影制御手段は、前記分割手段により分割された入力画像のうち、所定の帯状領域を除く領域の画像については、前記移動手段により位置が移動された画像を前記投影手段に投影させることを特徴とする。

本発明によれば、視認しづらくなる領域を避けるために画像を分割して投影する際に、当該画像に含まれるオブジェクトが視認されづらくなることを抑制することができる。

映像投影装置と投影面との関係を示す図である。視聴対象の画像と、当該画像が投影面に投影された様子を示す図である。映像投影装置の構成を示す図である。パターン画像を示す図である。投影不適領域を説明する図である。文字位置情報を説明する図である。座標変換作用素を説明する図である。座標変換作用素の作成方法の第１の例を説明する図である。座標変換作用素の作成方法の第２の例を説明する図である。座標変換作用素の作成方法の第３の例を説明する図である。映像投影装置の処理の第１の例を説明するフローチャートである。映像投影装置の処理の第２の例を説明するフローチャートである。入力画像の他の例を示す図である。座標変換作用素の作成方法の第４の例を説明する図である。

図面を参照しながら、本発明の一実施形態を説明する。
図１は、映像投影装置１００と投影面１０１との関係の一例を示す図である。図２は、視聴対象の画像と、当該画像が投影面１０１に投影された様子（当該画像に基づいて投影面１０１に投影された映像）の一例を示す図である。
図１において、投影面１０１のうち、映像投影装置１００により投影される領域が投影領域１０２である。投影面１０１には、網掛けで示すように、投影に適さない領域である投影不適領域１０３が存在する。投影不適領域１０３とは、例えば、投影光の反射率が著しく低い領域や、投影面１０１を構成するボードやパネル等の継ぎ目等で隙間や段差が生じている領域を指す。

図２（ａ）は、映像投影装置１００に入力された画像の一例を示す図である。図２（ｂ）は、映像投影装置１００により投影面１０１に投影された映像の様子の一例を示す図である。
図２（ｂ）に示す例では、投影不適領域１０３の中に文字「Ｆ」の一部が投影されており、当該文字が視認しづらい状態が発生している。

図２（ｃ）は、投影不適領域１０３を検知するためのパターン画像の一例を示す図である。図２（ｄ）は、映像投影装置１００により投影面１０１に投影されたパターン画像の様子の一例を示す図である。図２（ｅ）は、映像投影装置１００に入力された画像に含まれる文字画像が左右に分かれることなく、投影不適領域１０３を避けるように変形した上で投影面１０１に投影された映像の様子の一例を示す図である。

図２（ｅ）に示すような映像を生成して投影することを実現するために、本実施形態の映像投影装置１００は、例えば、図３に示すブロック図のように構成される。始めに、図３の各部の簡単な説明を行う。
映像投影装置１００は、パターン撮影部３０１、映像入力部３０２、投影不適領域検知部３０３、入力映像解析部３０４、座標変換作用素作成部３０５、座標変換部３０６、パターン生成部３０７、映像切替部３０８、および映像投影部３０９を有する。

映像入力部３０２は、画像を入力する。映像入力部３０２は、例えば、可搬型の記憶媒体から画像を読み出したり、外部装置から送信された画像を取り込んだりすることにより画像を入力する。以下の説明では、映像入力部３０２に入力された画像を必要に応じて入力画像と称する。
パターン生成部３０７は、パターン画像を生成する。座標変換部３０６は、入力画像を変形する。映像切替部３０８は、座標変換部３０６で変形された画像とパターン生成部３０７で生成されたパターン画像とのどちらかを選択する。映像投影部３０９は、映像切替部３０８で選択された画像を表示素子へ出力し、投影面１０１に対して映像を投影する。

パターン撮影部３０１は、投影面１０１に投影されたパターン画像を撮影する。投影不適領域検知部３０３は、パターン撮影部３０１で撮影されたパターン画像から、投影不適領域１０３を検知する。入力映像解析部３０４は、入力画像に含まれる文字画像の位置を検知する。座標変換作用素作成部３０５は、座標変換作用素を作成する。

次に、図３の各部の詳細な説明を行う。
パターン生成部３０７は、投影不適領域を検知するためのパターン画像を生成する。本実施形態では、図２（ｃ）に示すように、複数の十字状のパターンを２次元マトリックス状に（上下方向（縦方向）および左右方向（横方向）のそれぞれに）等間隔に並べた画像をパターン画像とする。映像投影部３０９は、このパターン画像を、図２（ｄ）に示すように、投影面１０１に対して投影する。パターン生成部３０７は、パターン撮影部３０１で撮影されるパターン画像の中の各パターンの座標情報（位置情報）を生成する。この座標情報は、後述する投影不適領域検知部３０３で用いられる。

パターン撮影部３０１は、図２（ｃ）に示すような、映像投影部３０９が投影したパターン画像を撮影する。図４は、パターン撮影部３０１で撮影されたパターン画像の一例を示す図である。投影不適領域が、低反射率の領域である場合、投影不適領域に投影されたパターンは、パターン撮影部３０１による撮影によって、図４の中央に示す網掛け部のように、不鮮明な画像になる。

投影不適領域検知部３０３は、パターン撮影部３０１で撮影されたパターン画像から、投影不適領域を検知する。
図５は、投影不適領域の一例を説明する図である。図５（ａ）は、投影不適領域の座標を格納するテーブルの一例を示す図である。図５（ｂ）は、パターン画像から抽出されたパターンの一例を示す図である。図５（ｃ）は、鮮明に撮影できているパターンと鮮明に撮影できていないパターンの一例を示す図である。図５（ｄ）は、投影不適領域の一例を示す図である。

投影不適領域を矩形領域とすると、投影不適領域の座標Ｓ＝｛（ｘ０，ｙ０），（ｘ１，ｙ１），（ｘ２，ｙ２），（ｘ３，ｙ３）｝は、当該投影不適領域（矩形領域）の頂点である４点の座標からなる。図５（ａ）に示すように、投影不適領域検知部３０３は、１つのパターン画像から、複数の投影不適領域の座標Ｓ₁、Ｓ₂、Ｓ₃を検知することができる。投影不適領域検知部３０３は、例えば、撮影されたパターン画像に対し、公知の２値化処理や細線検出処理等の技術を適用してパターンを抽出することにより投影不適領域を検知することができる。抽出したパターンは、例えば図５（ｂ）に示すようになる。

次に、投影不適領域検知部３０３は、抽出したパターンと、パターン生成部３０７から取得した各パターンの座標情報（位置情報）とを比較して、どの位置のパターンが抽出できていないか、すなわち、どのパターンが鮮明に撮影できていないかを求める。図５（ｂ）に示す例では、図５（ｃ）に黒塗りの四角形で表したパターンが鮮明に撮影できていないことになる。

最後に、投影不適領域検知部３０３は、鮮明に撮影できていないパターンの位置を起点とする一定の領域を投影不適領域とする。鮮明に撮影できていないパターンとして、図５（ｂ）に示すようなパターンが得られた場合、投影不適領域を、例えば、次のように定めることができる。すなわち、鮮明に撮影できていないパターンの位置から、各パターン間の左右方向の距離（図２（ｄ）の距離１０４）の１／２倍の距離だけ左右方向に離隔した位置を長辺とし、パターン画像の上端と下端を短辺とする矩形領域を投影不適領域とすることができる。
尚、パターン撮影部３０１で撮影されたパターン画像が歪んでいる場合においても、投影不適領域検知部３０３は、撮影されたパターン画像からパターンを抽出する前に、以下の処理を行えば、投影不適領域を適切に定めることができる。すなわち、撮影されたパターン画像の四隅のパターンの座標情報を用いて、撮影されたパターン画像の歪み補正およびサイズ調整を行えば、投影不適領域を適切に定めることができる。

入力映像解析部３０４は、入力画像を解析し、文字と判断した領域の座標情報（文字位置情報）を座標変換作用素作成部３０５へ出力する。
図６は、文字位置情報の一例を説明する図である。図６（ａ）は、文字位置情報を格納するテーブルの一例を示す図である。図６（ｂ）は、文字位置情報を検知する方法の一例を説明する図である。

図６（ａ）において、文字位置情報Ｍ＝｛（ｘ０，ｙ０），（ｘ１，ｙ１），（ｘ２，ｙ２），（ｘ３，ｙ３）｝は、文字の領域を矩形領域とした場合のその矩形領域の頂点である４点の座標からなる。図６（ａ）に示すように、入力映像解析部３０４は、１つの映像から複数の文字位置情報Ｍ₁、Ｍ₂、Ｍ₃を検知することができる。図６に示す例では、それぞれの文字位置情報を、１つの文字の情報とする。画像の解析には、例えば、ＯＣＲ等で一般的に用いられている公知のレイアウト解析処理等の技術を用いればよい。

かかる画像の解析の方法の具体例を説明すると、まず、入力映像解析部３０４は、図６（ｂ）に示すように、入力画像からブロック６０１ａ、６０１ｂを抽出する。次に、入力映像解析部３０４は、抽出したブロック６０１ａ、６０１ｂから文字列領域６０２を抽出する。次に、入力映像解析部３０４は、抽出した文字列領域６０２から文字６０３ａ、６０３ｂを切り出す。最後に、入力映像解析部３０４は、切り出された文字６０３ａ、６０３ｂの領域の全ての位置情報（座標）を文字位置情報として求める。

尚、メタデータとして文字位置情報を入力画像に予め埋め込んでおき、その文字位置情報を座標変換作用素作成部３０５が用いてもよい。また、入力画像から検知するオブジェクトは、文字に限定されない。入力映像解析部３０４は、例えば、文字に加えてまたは替えて、人体や図形等、別のオブジェクトを検知してもよい。

図３の説明に戻り、座標変換作用素作成部３０５は、投影不適領域検知部３０３で求められた投影不適領域と、入力映像解析部３０４で求められた文字位置情報とを用いて、入力画像に対する座標変換作用素を作成する。ここでは、まず、本実施形態における座標変換作用素の定義を説明し、次に、その座標変換作用素を投影不適領域と文字位置情報とを用いてどのように求めるかについて述べる。

座標変換作用素として、種々の作用素が考えられるが、本実施形態では、座標変換作用素は、複数の４点指定変形を実現するための作用素とする。４点指定変形とは、プロジェクタの台形補正等で一般的に用いられている技術であり、変換前の画像の四隅の点の座標を、任意の幾何変換（例えば射影変換）により変換する技術である。
図７は、座標変換作用素作成部３０５が求める座標変換作用素（４点指定変形作用素）の一例を説明する図である。図７（ａ）は、座標変換作用素を格納するテーブルの一例を示す図である。図７（ｂ）は、４点指定変形により変換される前の画像と変換された後の画像の一例を示す図である。

図７（ａ）において、各座標変換作用素は、変換前の矩形の四隅の点の座標の組Ｈ_srcと、変換後の矩形の四隅の点の座標の組Ｈ_dstとから構成される。図７（ｂ）に示す例では、座標変換作用素は３つ存在する。図７（ａ）に示す作用素１は、入力画像を分割する線分の左側に配置される矩形の変換前の四隅の点の座標の組Ｈ_src1と、当該矩形の変換後の四隅の点の座標Ｈ_dst1の組とからなる。同様に図７（ａ）に示す作用素２は、入力画像を分割する線分の変換前の四隅の点の座標の組Ｈ_src2と、当該線分の変換後の四隅の点の座標Ｈ_dst2の組とからなる。また、図７（ａ）に示す作用素３は、入力画像を分割する線分の右側に配置される矩形の四隅の点の座標の組Ｈ_src3と、当該矩形の変換後の四隅の点の座標Ｈ_dst3の組とからなる。尚、変換前の線分の四隅の点の座標のうち、右上端と左上端の座標は同じ座標となり、右下端と左下端の座標は同じ座標となる。

図７に示すように、１つの入力画像に複数の座標変換作用素が存在する。座標変換作用素作成部３０５は、変換後の四隅の点の座標の組Ｈ_dstで構成される矩形により、変換後の画像に対して漏れがないようにすると共に当該矩形が重ならないように、複数の座標変換作用素を作成する。また、図７（ｂ）では、変換前の四隅の点の座標の組Ｈ_src2で構成される形状は、線分となる。線分を変換する場合、変換前の線分の画像を黒画素で構成される画像とする。つまり、変換前の四隅の点の座標の組Ｈ_src2で構成される矩形は黒画素で構成される領域となる。

次に、座標変換作用素作成部３０５が、以上のように定義される座標変換作用素を、投影不適領域と文字位置情報とを用いて算出する方法の一例について述べる。
図８は、座標変換作用素の作成方法の一例を説明する図である。具体的に図８（ａ）は、入力映像解析部３０４により入力画像中の文字の位置を検知した結果の一例を概念的に示す図である。図８（ｂ）は、投影不適領域検知部３０３により投影不適領域を検知した結果の一例を概念的に示す図である。図８（ｃ）は、入力画像中の文字と投影不適領域とを重ねて示す図である。図８（ｄ）は、４点指定変形による変換前の画像と変換後の画像の一例を示す図である。

図８では、図２（ｂ）に示すようにして投影面１０１に投影された映像に対して座標変換作用素を算出する場合を例に挙げて示す。また、図８（ａ）では、９個の文字位置情報Ｍ₁〜Ｍ₉が検知された場合を例に挙げて示す。また、図８（ｂ）では、１個の投影不適領域（座標Ｓ₁）が検知された場合を例に挙げて示す。
仮に、入力映像解析部３０４で文字位置情報が検知されなかった場合、座標変換作用素作成部３０５は、座標Ｓ₁の投影不適領域だけを用いて座標変換作用素を求める。図９は、文字位置情報が検知されなかった場合の座標変換作用素の作成方法の一例を説明する図である。具体的に図９では、４点指定変形による変換前の画像と変換後の画像の一例を示す。

図９において、座標変換作用素作成部３０５は、座標Ｓ₁の投影不適領域を構成する矩形を左右に均等に分ける直線状の線分８０１およびその両隣接領域の３つに、変換前の画像を分割する。分割したそれぞれの領域の四隅の点の座標の組を、Ｈ_src2、Ｈ_src1、Ｈ_src3とする。次に、座標変換作用素作成部３０５は、座標Ｓ₁の投影不適領域が黒領域となるように、変換後の中央の矩形の四隅の点の座標の組Ｈ_dst2を決める。次に、座標変換作用素作成部３０５は、変換後の画像に対して、漏れや重なりが起きないように、当該四隅の点の座標の組Ｈ_dst2により定まる矩形の左右両隣に矩形を設定する。そして、座標変換作用素作成部３０５は、設定した矩形の四隅の点の座標の組を、変換後の左右の矩形の四隅の点の座標の組Ｈ_dst1、Ｈ_dst3として決める。図９に示すように、変換後の矩形の四隅の点の座標の組Ｈ_dst1、Ｈ_dst2、Ｈ_dst3で定まる３つの矩形は隙間なく配置され、且つ、これら３つの矩形の大きさの総和は入力画像の大きさに等しい。すなわち、入力画像を投影したと仮定した場合の入力画像の投影領域の大きさと、変形後の入力画像の投影領域の大きさは等しくなる。

次に、入力映像解析部３０４で文字位置情報が検知された場合の座標変換作用素の算出方法の一例について述べる。この場合に、図９に示すようにして座標変換作用素を求めてしまうと、座標Ｓ₁の投影不適領域の中に存在する文字（文字位置情報Ｍ₅が示す文字）の画像が左右に分かれてしまう。すなわち、座標Ｓ₁の投影不適領域に存在する文字画像が、変換後の矩形の四隅の点の座標の組Ｈ_dst1、Ｈ_dst3により定まる２つの矩形に分かれてしまう。これは、文字が検知されなかった場合に、変換前の四隅の点の座標の組Ｈ_src2により定まる矩形（線分）を、座標Ｓ₁の投影不適領域を構成する矩形を左右に均等に分ける線分としているためである。

文字画像が左右に分かれるか否かは、座標Ｓ₁の投影不適領域を構成する矩形を左右に均等に分ける線分８０１に、文字位置情報で特定される文字が重複しているか否かを判定することで検知することが可能である。よって、座標変換作用素作成部３０５は、まず、線分８０１と、文字位置情報で特定される文字の位置とが重複しているか否かを、投影不適領域の座標Ｓ₁と、文字位置情報Ｍ₁〜Ｍ₉とを順次比較して確認する。この結果、図８（ｃ）に示す例では、線分８０１上に、文字位置情報Ｍ₅で特定される文字が重複して存在していることが確認される。

次に、座標変換作用素作成部３０５は、文字位置情報Ｍ₅が全て、入力画像を分割する線分の左側に配置される矩形の四隅の点の座標の組Ｈ_src1に含まれるようにする。具体的に、座標変換作用素作成部３０５は、変換前の線分の四隅の点の座標の組Ｈ_src2の値を、線分８０１の座標の値から、文字位置情報Ｍ₅の右端において上下方向に直線状に延びる線分８０２の座標の値に変更する。
次に、座標変換作用素作成部３０５は、変換前の四隅の点の座標の組Ｈ_src1で構成される矩形の領域を、変換前の座標の組Ｈ_src2の値の変更により拡大された分だけ拡大する（図８（ｄ）の上の図を参照）。このようにして拡大した領域の四隅の点の座標の組を、入力画像を分割する線分の左側に配置される矩形の変換前の四隅の点の座標の組Ｈ_src1とする。

次に、座標変換作用素作成部３０５は、変換前の画像の残りの領域の四隅の点の座標の組を、入力画像を分割する線分の右側に配置される矩形の変換前の四隅の点の座標の組Ｈ_src3とする（図８（ｄ）の上の図を参照）。
変換後の四隅の点の座標の組Ｈ_dst1、Ｈ_dst2、Ｈ_dst3に関しては、図９に示したものと同じでよい。
すなわち、まず、座標変換作用素作成部３０５は、座標Ｓ₁の投影不適領域が黒領域となるように、変換後の四隅の点の座標Ｈ_dst2の領域を決める。
次に、座標変換作用素作成部３０５は、変換後の画像に対して、漏れや重なりが起きないように、当該四隅の点の座標の組Ｈ_dst2により定まる矩形の左右両隣に矩形を設定する。

そして、座標変換作用素作成部３０５は、設定した左右の矩形の四隅の点の座標の組を、投影不適領域の左右の矩形の変換後の四隅の点の座標の組Ｈ_dst1、Ｈ_dst3として決める。入力画像を分割する線分の変換後の四隅の点の座標Ｈ_dst2は、座標Ｓ₁の投影不適領域の四隅の点の座標になる。したがって、投影不適領域の左右の矩形の変換後の四隅の点の座標の組Ｈ_dst1、Ｈ_dst3は、変換前の四隅の点の座標の組Ｈ_src1、Ｈ_src3に対し、座標Ｓ₁の投影不適領域の大きさと線分８０２の位置とに応じて縮小する変形が行われたものとなる。

したがって、入力画像を線分８０２で分割した左右の矩形（座標の組Ｈ_src1、Ｈ_src3により定まる矩形）内の画像は、それぞれ、座標Ｓ₁の投影不適領域のうち線分８０２よりも左右にはみ出している領域の分だけ縮小される。
図８に示すように、変換後の四隅の点の座標の組Ｈ_dst1、Ｈ_dst2、Ｈ_dst3で定まる３つの矩形は、隙間と重なりがないように配置され、且つ、これら３つの矩形の大きさの総和は入力画像の大きさに等しい。

座標変換作用素作成部３０５は、線分８０１と文字位置情報で特定される文字との重複の状態によって、線分８０１よりも左側の矩形と、線分８０１よりも右側の矩形の何れを拡大するかを選択する。具体例を説明すると、座標変換作用素作成部３０５は、線分８０１よりも左側の矩形寄りに、線分８０１と重複する文字位置情報がある場合、線分８０１よりも左側の矩形を拡大する。一方、線分８０１よりも右側の矩形寄りに、線分８０１と重複する文字位置情報がある場合、座標変換作用素作成部３０５は、線分８０１よりも右側の矩形を拡大する。
尚、図８（ｃ）に示す例では、文字位置情報で特定される文字の中央に線分８０１があるので、線分８０１よりも左側の矩形を拡大しても右側の矩形を拡大してもよい。図８（ｃ）では、線分８０１よりも左側の矩形を拡大した場合を一例として示している。

また、線分８０１に重複する文字位置情報が複数あった場合、座標変換作用素作成部３０５は、線分８０１からの移動量が少ない方向に、線分８０２（座標の組Ｈ_src2）を移動させる。
図１０は、入力画像を左右に均等に分割する線分と複数の文字とが重複する場合の座標変換作用素の作成方法の一例を説明する図である。具体的に図１０（ａ）は、入力画像中の文字と投影不適領域とを重ねて示す図である。図１０（ｂ）は、４点指定変形による変換前の画像と変換後の画像の一例を示す図である。

図１０（ａ）に示す例では、線分８０１と、文字位置情報Ｍ₅、Ｍ₆で特定される文字とが重複している。線分８０１の移動先の候補としては、文字位置情報Ｍ₅で特定される文字の左端において上下方向に直線状に延びる線分１００１と、文字位置情報Ｍ₆で特定される文字の右端において上下方向に直線状に延びる線分１００２になる。座標変換作用素作成部３０５は、これらの線分１００１、１００２のうち、線分８０１の移動量が小さい線分１００２を、入力画像を分割する線分の変換前の四隅の点の座標の組Ｈ_src2とする。図１０（ｂ）では、このように、変換前の線分の四隅の点の座標の組Ｈ_src2で線分１００２を表すものとした場合の座標変換作用素の一例を示す。
尚、文字位置情報Ｍ₅で特定される文字の右端で上下方向に直線状に延びる線分１００３と、文字位置情報Ｍ₆で特定される文字の右端で上下方向に直線状に延びる線分１００４を線分８０１の移動先にしたとする。そうすると、文字位置情報Ｍ₅、Ｍ₆で特定される文字の何れか一方の重複が解消できない。したがって、線分１００３、１００４は、線分８０１の移動先として設定されない。

図３の説明に戻り、座標変換部３０６は、座標変換作用素作成部３０５が作成した座標変換作用素を用いて入力画像を変形する。具体的に、変換後の四隅の点の座標の組Ｈ_dst1、Ｈ_dst2、Ｈ_dst3で表される四角形内の座標の画素値を、変換前の四隅の点の座標の組Ｈ_src1、Ｈ_src2、Ｈ_src3で表される四角形内の座標の画素値を用いて４点指定変形にて求める。座標変換作用素が複数ある場合、座標変換部３０６は、座標変換作用素毎に座標の変換を行う。尚、変換前の四隅の点の座標の組Ｈ_src2で表される形状が線分になる場合、座標変換部３０６は、変換後の四隅の点の座標の組Ｈ_dst2で表される四角形内の座標の画素値を黒に対応する値（画素値＝０）とし、４点指定変形を行わない。

次に、図１１、図１２のフローチャートを参照しながら、本実施形態の映像投影装置１００の処理の一例を説明する。
図１１のフローチャートは、映像投影装置１００の電源が投入されたときや、映像投影装置１００の設置位置が変わったときに実行される処理である。その他にも、壁面の環境が変わった時などに、ユーザからの指示に応じて実行される。
まず、ステップＳ１１０１において、パターン生成部３０７は、パターン画像を生成する。
次に、ステップＳ１１０２において、映像切替部３０８は、ステップＳ１１０１で生成されたパターン画像を選択する。これにより、映像投影部３０９からパターン画像が投影面１０１に投影される。

次に、ステップＳ１１０３において、パターン撮影部３０１は、ステップＳ１１０２で投影されたパターン画像を撮影し、撮影画像を得る。
次に、ステップＳ１１０４において、投影不適領域検知部３０３は、ステップＳ１１０３で撮影されたパターン画像から投影不適領域１０３を検知する。
以下のステップＳ１１０５が開始する前に、ステップＳ１１０８において、入力映像解析部３０４は、映像入力部３０２に入力された画像（入力画像）を解析し、当該入力画像に含まれる文字画像の位置情報（文字位置情報Ｍ₁、Ｍ₂、Ｍ₃等）を求める。
そして、ステップＳ１１０５において、座標変換作用素作成部３０５は、ステップＳ１１０４で検知された投影不適領域１０３と、ステップＳ１１０５で求められた文字位置情報とを用いて、座標変換作用素を作成する。
次に、ステップＳ１１０６において、座標変換部３０６は、ステップＳ１１０５で作成された座標変換作用素を用いて、入力画像を変形させる。
次に、ステップＳ１１０７において、映像切替部３０８は、ステップＳ１１０６で変形された入力画像を選択する。これにより、映像投影部３０９から、ステップＳ１１０６で変形された入力画像が投影面１０１に投影される。

図１２のフローチャートは、入力画像が変わった時に実行される処理である。入力画像が変わると、文字画像の位置等も変わる。ただし、壁面（投影面１０１）の環境は変わらない（つまり投影不適領域は変わらない）。よって、図１２のフローチャートは、文字位置情報のみを更新する場合の処理と言える。
ステップＳ１２０１において、入力映像解析部３０４は、入力画像を解析し、当該入力画像に含まれる文字画像の位置情報（文字位置情報）を求める。
次に、ステップＳ１２０２において、座標変換作用素作成部３０５は、図１１のステップＳ１１０４で既に検知されている投影不適領域１０３と、ステップＳ１２０１で求められた文字位置情報とを用いて、座標変換作用素を作成する。
次に、ステップＳ１２０３において、座標変換部３０６は、ステップＳ１２０２で作成された座標変換作用素を用いて入力画像を変形させる。
次に、ステップＳ１２０４において、映像切替部３０８は、ステップＳ１２０３で変形された入力画像を選択する。これにより、映像投影部３０９から、ステップＳ１２０３で変形された入力画像が投影面１０１に投影される。

以上のように本実施形態では、投影不適領域１０３で入力画像を分割する際に、分割する位置に所定のオブジェクトが存在している場合には、投影不適領域１０３に対応する領域内の当該オブジェクトが分割されない位置に、当該分割する位置を変更する。そして、投影不適領域１０３を除く領域に、分割した入力画像を当該領域に合う大きさにして投影する。したがって、文字や特定のオブジェクトが分割されないように、入力画像を分割して投影することができる。よって、視認しづらくなる領域を避けるために画像を分割して投影する際に、当該画像に含まれるオブジェクトが視認されづらくなることを抑制することができる。

映像入力部３０２に入力される画像は、図２（ａ）に示すようなものに限定されない。図１３は、入力画像の他の例を示す図である。図１３に示すように、入力画像のアスペクト比を保持する影響で、入力画像の左右の端に、常時、帯状の黒帯領域１３０１ａ、１３０１ｂが付加される場合がある。この場合、座標変換作用素作成部３０５は、変換前の四隅の点の座標の組Ｈ_src1、Ｈ_src3で表される四角形を拡大せずとも水平方向に移動させるようにすればよい。

図１４は、入力画像の左右の端に黒帯領域が付加されている場合の座標変換作用素の作成方法の一例を説明する図である。具体的に図１４（ａ）は、入力画像中の文字と投影不適領域とを重ねて示す図である。図１４（ｂ）は、変換前の画像と変換後の画像の一例を示す図である。
図１４（ａ）に示す例では、図８（ｃ）に示す例と同様に、座標Ｓ₁の投影不適領域を構成する矩形を左右に均等に分ける線分８０１に、文字位置情報Ｍ₅で特定される文字が重複している。したがって、図８（ｃ）を参照しながら説明したように、入力画像を分割する線分の変換前の四隅の点の座標の組Ｈ_src2の値を、線分８０１の座標の値から、線分８０２の座標の値に変更する。

このとき、座標変換作用素作成部３０５は、黒帯領域１３０１ａの水平方向の長さ（幅）で許容される分だけ、変換前の四隅の点の座標の組Ｈ_src1で構成される矩形を左側にずらして、変換後の四隅の点の座標の組Ｈ_dst1を定める。同様に、座標変換作用素作成部３０５は、黒帯領域１３０１ｂの水平方向の長さ（幅）で許容される分だけ、変換前の四隅の点の座標の組Ｈ_src3で構成される矩形を右側にずらして、変換後の四隅の点の座標の組Ｈ_dst3を定める。

図１４（ｂ）に示す例において、変換前の四隅の点の座標の組Ｈ_src1と、変換後の矩形の四隅の点の座標の組Ｈ_dst1とからなる座標変換作用素では、水平方向の移動のみで投影不適領域を避けるように線分８０２よりも左側の入力画像を表示できる。同様に、変換前の四隅の点の座標の組Ｈ_src3と、変換後の四隅の点の座標の組Ｈ_dst3とからなる座標変換作用素でも、水平方向の移動のみで投影不適領域を避けるように線分８０２よりも右側の入力画像を表示できる。

尚、図１４（ｂ）に示す例では、線分８０２よりも右側の入力画像の水平方向の移動量よりも黒帯領域１３０１ｂの水平方向の長さの方が長い。したがって、変換後の四隅の点の座標の組Ｈ_dst3で表される矩形に表示される画像（線分８０２よりも右側の入力画像）の右側に黒帯領域１３０１ｃが表示される。一方、線分８０２よりも左側の入力画像の水平方向の移動量と黒帯領域１３０１ａの水平方向の長さは同じである。したがって、変換後の四隅の点の座標の組Ｈ_dst1で表される矩形に表示される画像（線分８０２よりも左側の入力画像）の左側には黒帯領域は表示されない。
このような水平方向の移動のみでは入力画像の全ての領域を表示することができない場合（黒帯領域の水平方向の長さよりも、入力画像の水平方向の移動量の方が長い場合）には、それらの差に応じて、分割した入力画像を縮小する。

また、このような黒帯領域がない場合であっても、画像の縮小を行わずに前述した水平方向の移動（変換前の四隅の点の座標の組Ｈ_src1・Ｈ_src3で構成される矩形を縮小せずに左側・右側にずらすこと）を行うようにしてもよい。ただし、このようにする場合、変形後の入力画像の大きさは、変形前の入力画像よりも大きくなる（本実施形態で説明した例では、投影不適領域の分だけ横長の画像になる）。そこで、このようにする場合には、当該変形後の入力画像と同じ大きさを有するパターン画像を投影して、当該パターン画像の投影領域のうち、変形前の入力画像からはみ出る領域に投影不適領域がないことを確認すればよい。また、当該パターン画像の投影領域のうち、変形前の入力画像からはみ出る領域に投影不適領域がないことが予め分かっている場合には、このようなパターン画像の投影を行わなくてもよい。

また、本実施形態では、垂直方向に沿う投影不適領域１０３が存在する場合を例に挙げて説明した。しかしながら、水平方向に沿う投影不適領域が存在する場合であっても、本実施形態を適用することができる。尚、同一の方向に沿う投影不適領域１０３が複数ある場合には、投影不適領域１０３ごとに本実施形態で説明した処理を行えばよい。
また、図１３に示す黒帯領域が入力画像の上下端に付加される場合であっても、本実施形態を適用することができる。
以上の場合、前述した説明において、「上下」を「左右」に、「左右」を「上下」に、「水平」を「垂直」に、「垂直」を「水平」にそれぞれ置き換えればよい。

また、垂直方向の投影不適領域と水平方向の投影不適領域とが混在している場合には、水平方向の投影不適領域が存在する場合の処理と、垂直方向の投影不適領域が存在する場合の処理とを組み合わせればよい。例えば、まず、垂直方向の投影不適領域が存在する場合の処理を行って変形後の四隅の点の座標の組を得る。そして、この変形後の四隅の点の座標の組を変換前のものとして、水平方向の投影不適領域が存在する場合の処理を行い、最終的な変形後の四隅の点の座標の組を得る。

また、本実施形態では、変換前の四隅の点の座標の組Ｈ_src2で表される形状が、線分になる場合、座標変換部３０６は、変換後の四隅の点の座標の組Ｈ_dst2で表される四角形に含まれる座標の画素値を０（ゼロ）、すなわち黒画素とした。このようにすれば、視聴用の画像と投影不適領域に投影される画像とを明確に区別することができるので好ましい。しかしながら、変換後の四隅の点の座標の組Ｈ_dst2で表される四角形に、視聴用の画像とは別の画像を表示していれば、必ずしもこのようにする必要はない。例えば、当該四角形の領域に画像を表示しないようにしてもよいし、当該四角形に０（ゼロ）以外の所定のパターンの画素値を与えてもよい。例えば０（ゼロ）以外の同値の画素値を前記所定のパターンの画素値として与えてもよいし、視聴用の画像とは明らかに区別される複数の画素値からなるパターンの画素値を前記所定のパターンの画素値として与えてもよい。このことは、図１３に示す黒帯領域についても同じである。
また、本実施形態では、パターン画像を投影して撮影した結果から、投影不適領域を検知する場合を例に挙げて説明した。しかしながら、例えば、映像投影装置１００と投影面１０１との幾何学的な関係等から、投影不適領域の位置を特定できる場合には、必ずしもパターン画像を投影して撮影しなくてもよい。

尚、前述した実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

（その他の実施例）
本発明は、以下の処理を実行することによっても実現される。即ち、まず、以上の実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）が当該コンピュータプログラムを読み出して実行する。

３０１パターン撮影部、３０２映像入力部、３０３投影不適領域検知部、３０４入力映像解析部、３０５座標変換作用素作成部、３０６座標変換部

Claims

入力画像に応じた画像を投影手段に投影させない非投影領域を特定する特定手段と、
前記入力画像に含まれる所定のオブジェクトが前記特定手段により特定された前記非投影領域の何れによっても分割されないように、前記入力画像を分割する分割手段と、
前記分割手段により分割された入力画像を前記投影手段に投影させる投影制御手段と、
前記分割手段により分割された入力画像のうち、所定の帯状領域を除く領域の画像が、前記非投影領域に投影されないように、当該所定の帯状領域を除く領域の位置を水平方向に移動する移動手段と、
前記分割手段により分割された入力画像を縮小する縮小手段と、
を有し、
前記縮小手段は、前記分割手段により分割された入力画像のうち、前記所定の帯状領域を除く領域を、その大きさを変更せずに前記所定の帯状領域の上に重なるように移動すれば当該所定の帯状領域を除く領域の全てを表示することができる場合には、当該所定の帯状領域を除く領域を縮小せず、そうでない場合には、当該所定の帯状領域を除く領域の水平方向の長さと前記所定の帯状領域の水平方向の長さとの差に基づいて、当該所定の帯状領域を除く領域を縮小し、
前記移動手段は、前記縮小手段により、前記所定の帯状領域を除く領域が縮小された場合には、当該縮小された所定の帯状領域を除く領域の少なくとも一部の領域が前記所定の帯状領域の少なくとも一部の領域の上に重なるように、当該縮小された所定の帯状領域を除く領域の位置を水平方向に移動し、前記縮小手段により、前記所定の帯状領域を除く領域が縮小されていない場合には、当該所定の帯状領域を除く領域の大きさを変えずに、当該当該所定の帯状領域を除く領域の少なくとも一部の領域が前記所定の帯状領域の少なくとも一部の領域の上に重なるように、当該所定の帯状領域を除く領域の位置を水平方向に移動し、
前記投影制御手段は、前記分割手段により分割された入力画像のうち、所定の帯状領域を除く領域の画像については、前記移動手段により位置が移動された画像を前記投影手段に投影させることを特徴とする映像投影装置。
前記投影制御手段は、前記分割手段により分割される前の前記入力画像を前記投影手段が投影したと仮定した場合の投影領域と同じ大きさを有する投影領域に、前記分割手段により分割された入力画像を投影させることを特徴とする請求項１に記載の映像投影装置。
前記移動手段は、前記所定の帯状領域を除く画像の座標を変換することにより、当該画像の位置を移動させることを特徴とする請求項１または２に記載の映像投影装置。
前記投影制御手段は、前記非投影領域に、前記入力画像とは別の画像を投影させることを特徴とする請求項１〜３の何れか１項に記載の映像投影装置。
前記非投影領域に投影される画像の画素値は０（ゼロ）であることを特徴とする請求項４に記載の映像投影装置。
所定のパターンを有するパターン画像が投影された投影面を撮影する撮影手段を有し、
前記特定手段は、前記撮影手段により得られた撮影画像に基づいて、前記非投影領域を特定することを特徴とする請求項１〜５の何れか１項に記載の映像投影装置。
前記特定手段は、前記撮影画像から前記所定のパターンを検出する検出処理を実行し、前記検出処理による前記所定のパターンの検出処理結果に基づいて、前記非投影領域を特定することを特徴とする請求項６に記載の映像投影装置。
前記分割手段は、前記非投影領域に対応する領域内の位置であって、前記オブジェクトが分割されない位置で、前記入力画像を、前記入力画像の縦方向および横方向の少なくとも何れか一方の方向に直線状に分割することを特徴とする請求項１〜７の何れか１項に記載の映像投影装置。
前記所定のオブジェクトとは文字、人体、図形のうち、少なくとも１つであることを特徴とする請求項１〜８の何れか１項に記載の映像投影装置。
入力画像に応じた画像を投影手段に投影させない非投影領域を特定する特定工程と、
前記入力画像に含まれる所定のオブジェクトが前記特定工程により特定された前記非投影領域の何れによっても分割されないように、前記入力画像を分割する分割工程と、
前記分割工程により分割された入力画像を前記投影手段に投影させる投影制御工程と、
前記分割工程により分割された入力画像のうち、所定の帯状領域を除く領域の画像が、前記非投影領域に投影されないように、当該所定の帯状領域を除く領域の位置を水平方向に移動する移動工程と、
前記分割工程により分割された入力画像を縮小する縮小工程と、
を有し、
前記縮小工程は、前記分割工程により分割された入力画像のうち、前記所定の帯状領域を除く領域を、その大きさを変更せずに前記所定の帯状領域の上に重なるように移動すれば当該所定の帯状領域を除く領域の全てを表示することができる場合には、当該所定の帯状領域を除く領域を縮小せず、そうでない場合には、当該所定の帯状領域を除く領域の水平方向の長さと前記所定の帯状領域の水平方向の長さとの差に基づいて、当該所定の帯状領域を除く領域を縮小し、
前記移動工程は、前記縮小工程により、前記所定の帯状領域を除く領域が縮小された場合には、当該縮小された所定の帯状領域を除く領域の少なくとも一部の領域が前記所定の帯状領域の少なくとも一部の領域の上に重なるように、当該縮小された所定の帯状領域を除く領域の位置を水平方向に移動し、前記縮小工程により、前記所定の帯状領域を除く領域が縮小されていない場合には、当該所定の帯状領域を除く領域の大きさを変えずに、当該当該所定の帯状領域を除く領域の少なくとも一部の領域が前記所定の帯状領域の少なくとも一部の領域の上に重なるように、当該所定の帯状領域を除く領域の位置を水平方向に移動し、
前記投影制御工程は、前記分割工程により分割された入力画像のうち、所定の帯状領域を除く領域の画像については、前記移動工程により位置が移動された画像を前記投影手段に投影させることを特徴とする映像投影方法。
前記投影制御工程は、前記分割工程により分割される前の前記入力画像を前記投影手段が投影したと仮定した場合の投影領域と同じ大きさを有する投影領域に、前記分割工程により分割された入力画像を投影させることを特徴とする請求項１０に記載の映像投影方法。
前記投影制御工程は、前記非投影領域に、前記入力画像とは別の画像を投影させることを特徴とする請求項１０または１１に記載の映像投影方法。
前記特定工程においては、所定のパターンを有するパターン画像が投影された投影面の撮影画像に基づいて、前記非投影領域を特定することを特徴とする請求項１０〜１２の何れか１項に記載の映像投影方法。
前記分割工程は、前記非投影領域に対応する領域内の位置であって、前記オブジェクトが分割されない位置で、前記入力画像を、前記入力画像の縦方向および横方向の少なくとも何れか一方の方向に直線状に分割することを特徴とする請求項１０〜１３の何れか１項に記載の映像投影方法。
コンピュータを請求項１〜９の何れか１項に記載の映像投影装置の各手段として動作させることを特徴とするコンピュータプログラム。