JP4063162B2

JP4063162B2 - Video display device

Info

Publication number: JP4063162B2
Application number: JP2003204217A
Authority: JP
Inventors: 正喜石川; 剛皆川; 宏志河瀬; 健治安藤
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2003-07-31
Filing date: 2003-07-31
Publication date: 2008-03-19
Anticipated expiration: 2023-07-31
Also published as: JP2005051375A

Description

【０００１】
【発明の属する技術分野】
本発明は、複数のプロジェクタを用いて、１枚のスクリーン上に投影した大画面の映像表示装置に係り、特に撮影した画像の二値化演算と幾何情報演算を行い、精度の良い画像補正データを演算するのに好適な映像表示装置に関する。
【０００２】
【従来の技術】
プロジェクタで映像を投射する映像表示装置には、複数のプロジェクタを用いて、１枚のスクリーン上に各プロジェクタの投射映像を並べて、高精細な大画面に表示する映像表示装置がある。
【０００３】
このような映像表示装置においては、各プロジェクタの映像がスクリーン上のどの位置にどのように投射されるかを計測し、その計測したデータに基づいて画像歪の補正を行うことにより、スクリーン上に理想的な映像を投射している。
【０００４】
又、従来は平面状のスクリーンが用いられていたが、最近では、球面型や円筒型などの曲面スクリーンも用いられるようになってきている。映像を投射したとき画像歪の大きくなる曲面スクリーンの画像歪を補正する方法として、例えば、【特許文献１】や【特許文献２】に記載されているものがある。
【０００５】
【特許文献１】では、理想視点に配置され、角度制御可能なレーザポインタの光点を曲面スクリーンに投影する一方、グラフィックスボードで生成した計測用画像である点画像をプロジェクタからスクリーンに投影し、スクリーン上の光点と点画像を含む投影画像をカメラで撮影し、点画像を移動しながら両点が一致したときに、その点画像のフレームメモリ上の画素座標を光点の入力画像上の座標に置換して画像歪補正に必要な情報を得る方法が述べられている。
【０００６】
又、【特許文献２】には、十字や輝点，格子模様などのマーカーを並べたテスト画像をプロジェクタからスクリーンに投射し、これをデジタルカメラで撮影した画像におけるマーカーの並び具合から、画像歪補正関数を求めて補正データとする方法が記載されている。
【０００７】
【特許文献１】
特開２００１−１６９２１１号公報
【特許文献２】
特開２００２−７２３５９号公報
【０００８】
【発明が解決しようとする課題】
映像表示装置で曲面スクリーンに映像を投射する場合は、スクリーンに投射した画像を撮影した映像から、マーカーの位置を正確に検出する必要がある。
【０００９】
【特許文献１】や【特許文献２】に記載の方法は、マーカーの位置検出が比較的容易である場合には適用できるが、撮影画像が、プロジェクタの面内むらやスクリーンの特性，スクリーンの形状とプロジェクタ，スクリーン，カメラの相互位置関係などにより様々な要因の影響を受ける場合については配慮されていないため、例えば、歪の大きい曲面スクリーンに投射した場合は、図２１に示すように撮影画像１３９の左側が暗くなってマーカー位置を認識できないので、撮影画像１３９を二値化した二値化データは符号１５９で示すようになり、正確に二値化できない問題があった。
【００１０】
又、【特許文献１】に記載の方法では点画像を、【特許文献２】に記載の方法では十字や輝点，格子模様を、マーカーとして用いている。点や細線で構成されるマーカーは計測誤差の影響を受けやすく、正確な位置情報を得るのが難しいという問題があった。
【００１１】
本発明の目的は、撮影した画像が、プロジェクタの面内むらやスクリーンの特性，スクリーンの形状とプロジェクタ，スクリーン，カメラの相互位置関係など、様々な要因の影響を受ける場合でも、マーカーを撮影した画像を正確に二値化して補正の行える映像表示装置を提供することにある。
【００１２】
本発明の他の目的は、計測誤差の影響を受けにくく正確な位置情報を取得することができる映像表示装置を提供することにある。
【００１３】
【課題を解決するための手段】
上記目的を達成するため、本発明は、前景画像と後景画像で構成された二値化用画像を保持する二値化用画像データ保持部と二値化用画像を含む画像を表示する画像表示部と、表示した画像を撮影する撮影部と、撮影部が撮影した撮影画像データを保持する撮影画像データ保持部と、撮影画像データ保持部に記録された撮影画像データの二値化演算を行う二値化演算部と、二値化演算部が出力した二値データを保持する二値データ保持部とを有するものである。
【００１４】
特に前景画像の前景色と後景画像の後景色は、互いに補色の関係にあるように選定するのが好ましい。
【００１５】
前景画像，後景画像にはマーカーを設けることができ、マーカーは、前景色と後景色からなる縞模様，前景色と後景色からなる市松模様等で構成している。又、縞模様は、バイナリコードかグレイコードとすることができる。
【００１６】
縦縞模様と横縞模様を重ねてできる市松模様または市松模様の各升目の重心を求め、各升目の重心から幾何情報を求め、あるいはバイナリコードかグレイコードから幾何情報を求め、幾何情報を用いることで、必要な画像補正データの算出を行う。
【００１７】
【発明の実施の形態】
以下、本発明の第一の実施例を図１から図８を用いて説明する。図１は、本実施例の映像表示装置の構成図である。
【００１８】
図１に示すように、映像表示装置１は、二値化用画像データを保存している二値化用画像データ保持部２と、二値化用画像データ保持部２からの二値化用画像又は二値化用画像を含む投影画像を表示する、あるいは映像入力信号８の映像を表示する画像表示部３と、画像表示部３が表示した画像を撮影する撮影部４と、撮影部４で撮影した画像を撮影画像として保存する撮影画像データ保持部５と、撮影画像データ保持部５に記録された撮影画像を二値化する二値化演算部６と、二値化演算部６で算出した二値データを保存する二値データ保持部７で構成される。
【００１９】
二値化用画像データ保持部２は、横ｐ_w ピクセル，縦ｐ_h ピクセルである画像サイズの前景画像１０１と後景画像１０２を有する。画像サイズがＳＸＧＡ（横１２８０ピクセル×縦１０２４ピクセル）の場合、ｐ_w 及びｐ_h は数１のようになる。
【００２０】
【数１】

【００２１】
又、色は（赤，緑，青）＝（ｒ，ｇ，ｂ）と表し、ｒ，ｇ，ｂの値の範囲は、数２で表した範囲とする。
【００２２】
【数２】

【００２３】
図２は、撮影画像を二値化する流れ図である。処理ブロック１０は二値化を行う領域を定める処理を、処理ブロック２０はマーカーを撮影した画像の二値化を行う処理を示している。
【００２４】
二値化を行う領域を表示画面全体とした場合は、図３に示すように、前景画像１０１では画像全体を前景色であるシアン（０，２５５，２５５）で塗り潰し、図４に示すように、後景画像１０２では画面全体を後景色である赤（２５５，０，０）で塗り潰す。前景色と後景色の組み合わせは、シアンと赤でなくてもよく、白と黒でも構わないが、後述するようにシアンと赤のように互いに補色である２色を用いるのが望ましい。
【００２５】
撮影画像のサイズは、横ｃ_w ピクセル，縦ｃ_h ピクセルとする。この撮影画像のサイズは、二値化を行う画像サイズより大きく設定しており、例えば、数３で示す値に設定する。
【００２６】
【数３】

【００２７】
処理ブロック１０の前景撮影１１では、画像表示部３が前景画像１０１を表示し、二値化を行う領域が撮影画像内に含まれるように撮影部４が撮影した図５に示す前景撮影画像１３１を、撮影画像データ保持部５に保存する。
【００２８】
後景撮影１２では、画像表示部３が後景画像１０２を表示し、二値化を行う領域が撮影画像内に含まれるように撮影部４が撮影した図６に示す後景撮影画像１３２を、撮影画像データ保持部５に保存する。
【００２９】
前景撮影画像１３１，後景撮影画像１３２には、図５，図６に示すように二値化を行う領域とその周辺部が写っており、前景撮影画像１３１と後景撮影画像１３２とは、二値化を行う領域の色が異なっている。
【００３０】
ここで、ある２点Ｃ，Ｄにおいて、Ｃの色を(ｒ_C，ｇ_C，ｂ_C）、Ｄの色を(ｒ_D，ｇ_D，ｂ_D）としたとき、２点Ｃ，Ｄ間の色の距離を数４で示すＬ_2CD で定義すると、Ｌ_2CD の範囲は数５となる。
【００３１】
【数４】

【００３２】
【数５】

【００３３】
なお、数４において、√３で割っているのは、最大値を２５５にするためである。
【００３４】
点Ｃ，Ｄの色が互いに補色の関係にあるとき、例えば赤（２５５，０，０）とシアン（０，２５５，２５５）であるときは、Ｌ_2CD の値は最大値の２５５となる。又、点Ｃ，Ｄの色が近い程、Ｌ_2CD の値は小さくなり、点Ｃ，Ｄの色が同じ色のときは、Ｌ_2CD の値は最小値の０となる。このように、互いに補色である２色を用いると、２色の距離が大きくなり、２色の距離が小さい周辺部と区別することができる。
【００３５】
前景撮影画像１３１の座標（ｃ_x，ｃ_y）の点Ｆの色が数６で表され、後景撮影画像１３２の座標（ｃ_x，ｃ_y）の点Ｂの色が数７で表されるとすると、２点Ｂ，Ｆ間の距離Ｌ₂(ｃ_x，ｃ_y）は、数８に示すｃ_xとｃ_yの関数になる。
【００３６】
【数６】

【００３７】
【数７】

【００３８】
【数８】

【００３９】
前景撮影画像１３１と後景撮影画像１３２の、画素毎の距離Ｌ₂(ｃ_x，ｃ_y）を求める。画素毎の距離を０〜２５５の２５６階調のいずれかとなるように丸め、グレー画像生成１３を行う。
【００４０】
グレー画像生成１３で作成したグレー画像について、階調毎の画素数のヒストグラムで表すと、図７で示すようになる。二値化を行う領域である前景撮影画像１３１と後景撮影画像１３２の部分は、前景撮影画像１３１がシアンに近い色で、後景撮影画像１３２が赤に近い色であるので、２色の距離Ｌ₂ の最大値である２５５に近いところに画素数の分布の山ができる。一方、二値化を行う領域以外である周辺部は、撮影画像が黒に近い色であるので、２色の距離Ｌ₂ の値は最小値０に近いところに山ができる。
【００４１】
得られたヒストグラムに対し二値化を行う領域と二値化を行わない領域を区別するための閾値εを求める。ここでは、判別分析法と呼ばれる方法を用いる。ある閾値によってヒストグラムを２クラスに分割した場合のクラス間分散を数９により求めて閾値ε算出１４を行う。
【００４２】
ここで、数９では濃淡レベルを｛１，２，・・・，Ｌ｝とし、閾値εは画素レベル［１，ε］と、レベル［ε＋１，Ｌ］の２クラスに分割するものとし、ｎｉをレベルｉの画素数、Ｎを全画素数としたとき、ω０，ω１，μ０，μ１，μｔは数１０で計算される。
【００４３】
【数９】

【００４４】
【数１０】

【００４５】
グレー画像生成１３で作成したグレー画像について、閾値ε以上の画素は二値化を行う領域内の画素と判定し、閾値ε未満の画素は二値化を行う領域外の画素と判定して、二値化を行う領域の判定１５を行う。
【００４６】
このようにして撮影画像の全画素に対して、二値化を行う領域内外の判定を行い、判定の結果得られた二値化を行う領域内外判定データ１５１を二値データ保持部７に保存１６する。上述したように、シアンと赤のように距離ｌ₂ が大きくなる二色を用い前景撮影画像１３１と後景撮影画像１３２のヒストグラムの山と、周辺部でのヒストグラムの山との間は距離があるので、確実な二値化の領域判定を行える。
【００４７】
次に、マーカーを撮影した画像を二値化する方法について処理ブロック２０により説明する。
【００４８】
二値化用画像データ保持部２には、図８に示すように、後景画面にマーカーが占める領域を前景色、例えばシアンで塗り潰し、マーカー以外の領域を後景色、例えば赤で塗り潰したマーカー画像１０３が記録されている。又、マーカーは前景画面に設けても良く、その場合はマーカーが占める領域を後景色、マーカー以外の領域を前景色で塗り潰している。マーカーを撮影した画像を二値化するので、マーカーは二値化を行う領域内に配置する。マーカーの形状は、図８では円形で示したが、点や線や十字，格子などの形状を採用することができ、マーカーは複数個設けてもよい。
【００４９】
マーカー撮影２１では、画像表示部３によりマーカー画像１０３を表示し、処理ブロック１０で撮影されたのと同じ位置で撮影部４が撮影したマーカー撮影画像１３３を、撮影画像データ保持部５に保存する。
【００５０】
次に、マーカーが占める領域の二値化２２を行うが、撮影画像の座標（ｃ_x，ｃ_y)の画素が、マーカーが占める領域の画素であるか否かを判定する流れを図９により説明する。
【００５１】
ステップ３１において、上述した領域内外判定データ１５１の座標（ｃ_x，ｃ_y)を調べ、その座標が二値化を行う領域外だった場合は、ステップ３６によりマーカー撮影画像１３３の座標（ｃ_x，ｃ_y）の画素はマーカーが占める領域外の画素と判定する。
【００５２】
領域内外判定データ１５１の座標（ｃ_x，ｃ_y）が、二値化を行う領域内だった場合は、以下のように処理する。
【００５３】
マーカー撮影画像１３３の座標（ｃ_x，ｃ_y）に位置する点Ｍの色を数１１で表す。
【００５４】
【数１１】

【００５５】
ここで、ある２点Ｃ，Ｄにおいて、Ｃの色を（ｒ_C，ｇ_C，ｂ_C）、Ｄの色を（ｒ_D，ｇ_D，ｂ_D）としたとき、２点Ｃ，Ｄ間の色の距離Ｌ_1CD を数１２で定義すると、距離Ｌ_1CD の範囲は数１３となる。
【００５６】
【数１２】

【００５７】
【数１３】

【００５８】
この場合も点Ｃ，Ｄの２色が互いに補色の関係にあるとき、Ｌ_1CD の値は最大値の７６５となり、点Ｃ，Ｄの２色の色が近いほど、Ｌ_1CD の値は小さくなる。点Ｃ，Ｄの２色が同じ色のとき、Ｌ_1CD の値は最小値の０となる。
【００５９】
このとき、前景撮影画像１３１の座標（ｃ_x，ｃ_y）に位置する点Ｆと点Ｍの距離ｌ_1F（ｃ_x，ｃ_y）は、数１４に示すようにｃ_xとｃ_yの関数になり、後景撮影画像１３２の座標（ｃ_x，ｃ_y）の点Ｂと点Ｍの距離Ｌ_1B（ｃ_x，ｃ_y）は、数１５に示すようなｃ_xとｃ_yの関数になる。
【００６０】
【数１４】

【００６１】
【数１５】

【００６２】
２色の距離は色同士が近いほど値が小さくなるので、Ｌ_1F（ｃ_x，ｃ_y）の値が小さければ点Ｍは前景色、例えばシアンであり、Ｌ_1B（ｃ_x，ｃ_y）の値が小さければ点Ｍは後景色、例えば赤であるとみなせる。
【００６３】
そこで、ステップ３２でＬ_1F（ｃ_x，ｃ_y）を求め、ステップ３３でＬ_1B（ｃ_x，ｃ_y）を求めて、ステップ３４で、Ｌ_1F（ｃ_x，ｃ_y）とＬ_1B(ｃ_x，ｃ_y）の大小を比較する。
【００６４】
Ｌ_1F（ｃ_x，ｃ_y）がＬ_1B（ｃ_x，ｃ_y）より小さい場合は、ステップ３５で、点Ｍの画素をマーカーが占める領域内の画素と判定し、小さくない場合は、ステップ３６で点Ｍの画素をマーカーが占める領域外の画素と判定する。このようにして、マーカー撮影画像１３３の二値化を行う。
【００６５】
ステップ３１からステップ３６の処理を、撮影画像の全画素について行い、図８に示すようなマーカーも含めて二値化したマーカー二値化データ１５３を求め、二値データ保持部７に結果の保存２３を行う。このようにして、マーカーが占める領域かどうか判別して、マーカー撮影画像を二値化することができる。
【００６６】
又、プロジェクタの面内むらやスクリーンの特性，スクリーンの形状とプロジェクタ，スクリーン，カメラの相互位置関係など、撮影画像が影響を受ける様々な要因があるが、実際の撮影画像である前景撮影画像と後景撮影画像を元に判定しており、マーカー撮影画像を二値化しているので、上述した要因の影響を受けないようにできる。又、実際の撮影画像である前景撮影画像と後景撮影画像を元に判定しているので、精度が高い二値化を行うことができる。又、数１４や数１５のような加算，減算からなる単純な式の大小関係で判定ができるので、計算量も少なくて済む。
【００６７】
このように、第一の実施例によれば、マーカーを撮影した画像を精度良く容易に二値化することができる。
【００６８】
本発明の第二の実施例を図１１から図２０により説明する。図１１は、本実施例の映像表示装置の構成図である。
【００６９】
図１１に示すように、本実施例の映像表示装置は、二値化用画像データを保存している二値化用画像データ保持部２と、二値化用画像データ保持部２からの前記二値化用画像又は二値化用画像を含む投影画像を表示する、あるいは映像入力信号８の映像を表示する画像表示部３と、画像表示部３が表示した画像を撮影する撮影部４と、映像表示制御装置４０（詳細は後述する）で構成される。
【００７０】
画像表示部３は、画像出力部１１１と、プロジェクタ１１２と、スクリーン１１３で構成される。又、撮影部４にはデジタルカメラが用いられている。
【００７１】
映像表示制御装置４０は、１台またはネットワークで接続された複数のパーソナルコンピュータ（以下、ＰＣと省略する）からなる。映像表示制御装置４０は、撮影部４で撮影した画像を撮影画像として保存する撮影画像データ保持部５と、撮影画像データ保持部５に記録された撮影画像を二値化する二値化演算部６と、二値化演算部６で算出した二値データを保存する二値データ保持部７と、二値データ保持部７に保存された二値データに基づき、幾何情報データを算出する幾何情報演算部５０と、算出された幾何情報データを記録する幾何情報データ記憶部５１と、幾何情報データ記憶部５１に記録された幾何情報データから画像補正データを算出する画像補正演算部５２と、画像補正演算部５２で算出された画像補正データを記録する画像補正データ記憶部５３で構成される。
【００７２】
画像出力部１１１は、画像歪の補正を行う場合は、ＰＣのＨＤＤ内に保存した二値化用画像データの中から、表示する画像データを取り出し、画像信号としてプロジェクタ１１２に送信し、プロジェクタ１１２は画像をスクリーン１１３に投影する。プロジェクタ１１２がスクリーン１１３に投射した画像をデジタルカメラである撮影部４で撮影し、撮影した画像を撮影画像データ保持部５に保存する。
【００７３】
画像出力部１１１は、画像を投影する場合は、画像補正データに基づいて、画像入力信号８に対し幾何変形補正を行い、補正した画像信号をプロジェクタ112に送る。プロジェクタ１１２は、スクリーン１１３に補正された画像を投射する。
【００７４】
二値化演算部６，二値化データ保持部７での二値化を行う領域の判定と、マーカーが占める領域の判定は、第一の実施例と同様にして行われる。本実施例では、二値化を行う領域の判定及びマーカーが占める領域の判定結果を用いて次に説明する幾何情報の演算を行う。
【００７５】
ここで、幾何情報とは、デジタルカメラである撮影部４の撮影座標系と、プロジェクタ１１２の投影座標系との対応付けを意味し、幾何情報の演算とは、撮影座標（ｃ_x，ｃ_y）と投影座標（ｐ_x，ｐ_y）との対応付けを演算することをいう。
【００７６】
二値化用画像データ保持部２は、図１２，図１３に示すような縦縞のマーカーを持つ縦縞マーカー画像１０４と、横縞のマーカーを持つ横縞マーカー画像105とを有する。
【００７７】
縦縞マーカー画像１０４は、左から右に向って幅ｂ_h の赤線とシアン線を交互に並べており、幅ｂ_h ，間隔ｂ_h で並ぶシアン線がマーカーである。又、横縞マーカー画像１０５は、上から下に向って幅ｂ_v の赤線とシアン線を交互に並べており、幅ｂ_v ，間隔ｂ_v で並ぶシアン線がマーカーである。ここで、幅ｂ_h と幅ｂ_v の値は、撮影部４で撮影したとき、個々の縞を識別できる幅に設定される。
【００７８】
縦縞マーカー画像１０４と横縞マーカー画像１０５をプロジェクタ１１２からスクリーン１１３に投射し、撮影部４で撮影した画像を二値化した結果は、それぞれ、図１４に示す縦縞マーカー二値データ１５４と、図１５に示す横縞マーカー二値データ１５５のようになる。縦縞二値データ１５４と横縞二値データ155は、二値データ保持部７に保存する。
【００７９】
この時、図１２に示す縦縞画像１０４と、図１３に示す横縞画像１０５を重ね合わせた格子縞１０６と、図１４に示す縦縞二値データ１５４と、図１４に示す横縞二値データ１５５を重ね合わせた格子縞１５６は、それぞれ図１６に示すようになる。
【００８０】
ここで、格子縞１０６と格子縞１５６の各升目の重心を求め、図１７に示すように、重心同士を対応付ける。境界や格子点を対応付けず、重心を対応付けているのは、境界や格子点は計測誤差や二値化誤差の影響を受けやすく、重心は計測誤差や二値化誤差の影響を受けにくいからである。
【００８１】
このようにして、格子縞の重心位置を用いて撮影座標（ｃ_x，ｃ_y）と投影座標（ｐ_x，ｐ_y）との対応付けを行うことができる。
【００８２】
重心以外の点は、図１８に示すように重心以外の点の対応付けを行うバイリニア補間、あるいはバイキュービック補間などの補間法で算出する。バイリニア補間では、図１８に示すように、投影座標系で並ぶ４点が、撮影座標の４点に対応しているとき、横方向の内分比ｓ：（１−ｓ），縦方向の内分比ｔ：（１−ｔ）で求まる内分点２０６と内分点２５６が対応する。このようにして、撮影部４の撮影座標系と、プロジェクタ１１２の投影座標系との対応付けを算出し、幾何情報を求める。
【００８３】
算出された幾何情報データは幾何情報データ記憶部５１に記憶され、画像補正演算部５２により幾何情報データから位置関係の対応づけを計算して画像補正データを算出し、算出された画像補正データを画像補正データ記憶部５３に記録する。例えば、重心位置同士の比較により、画像歪を求めることができ、求められた画像歪をもとに画像歪の補正値を算出することができる。
【００８４】
このようにして算出された幾何情報を用いて、前景画像，後景画像に撮影された撮影座標系と、投影された画像を撮影して得られた投影座標系の対応関係から、精度の良い画像補正データを算出することができる。
【００８５】
縦縞画像１０４と横縞画像１０５を用いる代わりに、図１９に示すような、前景色であるシアンと後景色である赤の市松模様画像を用いる方法も適用できる。この場合も、上述したと同様に各升目の重心の対応付けを求め、幾何情報を算出する。ただし、斜め方向に隣接した升目との間で領域を誤認識することがない分、縦縞画像と横縞画像を用いた方法の方がより精度が高い。
【００８６】
又、縞模様として、バイナリコードかグレイコードの、複数の縞模様を用いる方法もある。図２０は、バイナリコードの縦縞を示した図である。バイナリコードやグレイコードは、座標ごとにビットパターンが決まるので、全ての縦縞の二値化が終わればｘ方向の演算を省略しても、又、全ての横縞の二値化が終わればｙ方向の演算を省略しても幾何情報の演算を終了することができるので、演算の簡略化を図れる利点がある。又、バイナリコードよりは、グレイコードの方が誤差に強いので、この方法を用いる場合は、グレイコードを使用する方が望ましい。
【００８７】
【発明の効果】
本発明によれば、前景画像と後景画像により、二値化を行う領域の判定を行っているので、二値化を精度よく容易に行うことが可能となる。
【００８８】
又、縞模様や市松模様を二値化したデータから幾何情報の算出を行うことにより、精度の良い画像補正を行うことができる。
【図面の簡単な説明】
【図１】本発明の第一の実施例である映像表示装置の構成図である。
【図２】撮影画像を二値化する流れ図である。
【図３】前景画像を説明する平面図である。
【図４】後景画像を説明する平面図である。
【図５】前景画像を撮影した画像を説明する平面図である。
【図６】後景画像を撮影した画像を説明する平面図である。
【図７】グレー画像とそのヒストグラムとの関係を示す図である。
【図８】マーカー画像を説明する平面図である。
【図９】マーカーを撮影した画像を二値化する流れ図である。
【図１０】マーカー画像の二値化を説明する平面図である。
【図１１】本発明の第二の実施例である映像表示装置の構成図である。
【図１２】縦縞模様の画像を示す平面図である。
【図１３】横縞模様の画像を示す平面図である。
【図１４】縦縞模様画像を撮影した画像の二値化を示す平面図である。
【図１５】横縞模様画像を撮影した画像の二値化を示す平面図である。
【図１６】格子縞の画像と撮影した画像の二値化との対応関係を示す図である。
【図１７】格子縞の投影画像と撮影画像の重心同士の対応関係を示す図である。
【図１８】バイリニア補間を説明する図である。
【図１９】市松模様画像を示す平面図である。
【図２０】バイナリコードを説明する平面図である。
【図２１】撮影画面の一部が暗くなった場合の二値化を説明する図である。
【符号の説明】
１…映像表示装置、２…二値化用画像データ保持部、３…画像表示部、４…撮影部、５…撮影画像データ保持部、６…二値化演算部、７…二値データ保持部、８…画像入力信号、４０…映像表示制御装置、５０…幾何情報演算部、５１…幾何情報データ記憶部、５２…画像補正演算部、５３…画像補正データ記憶部、１１１…画像出力部、１１２…プロジェクタ、１１３…スクリーン。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a large-screen image display apparatus projected on a single screen using a plurality of projectors, and in particular, performs binarization calculation and geometric information calculation of a photographed image, and provides high-precision image correction data. The present invention relates to a video display device suitable for calculating
[0002]
[Prior art]
2. Description of the Related Art Video display devices that project video with a projector include a video display device that uses a plurality of projectors to display the projected images of each projector on a single screen and display them on a high-definition large screen.
[0003]
In such a video display device, it is measured on which position on the screen the video of each projector is projected and by correcting the image distortion based on the measured data, Projecting an ideal image.
[0004]
Conventionally, a flat screen has been used, but recently, a curved screen such as a spherical type or a cylindrical type has come to be used. As a method for correcting the image distortion of a curved screen that increases image distortion when a video is projected, there are methods described in, for example, [Patent Document 1] and [Patent Document 2].
[0005]
In Patent Document 1, the light point of a laser pointer that is arranged at an ideal viewpoint and whose angle can be controlled is projected onto a curved screen, while a point image that is a measurement image generated by a graphics board is projected onto a screen from a projector. When a projected image including a light spot on the screen and a point image is taken with a camera, and the two points coincide while moving the point image, the pixel coordinates in the frame memory of the point image are displayed on the input image of the light spot. A method is described in which information necessary for image distortion correction is obtained by substituting these coordinates.
[0006]
Also, in [Patent Document 2], a test image in which markers such as a cross, a bright spot, and a lattice pattern are arranged is projected from a projector onto a screen, and the image is distorted due to the arrangement of the markers in an image photographed by a digital camera. A method of obtaining a correction function to obtain correction data is described.
[0007]
[Patent Document 1]
Japanese Patent Laid-Open No. 2001-169221 [Patent Document 2]
Japanese Patent Laid-Open No. 2002-72359
[Problems to be solved by the invention]
When an image is projected on a curved screen by the image display device, it is necessary to accurately detect the position of the marker from the image obtained by capturing the image projected on the screen.
[0009]
The methods described in [Patent Document 1] and [Patent Document 2] can be applied when the position detection of the marker is relatively easy. However, the captured image may be in-plane unevenness of the projector, screen characteristics, screen Since no consideration is given to the case of being affected by various factors due to the mutual relationship between the shape and the projector, screen, camera, etc., for example, when projected onto a curved screen with large distortion, the captured image is shown in FIG. Since the left side of 139 is dark and the marker position cannot be recognized, the binarized data obtained by binarizing the photographed image 139 is indicated by reference numeral 159, and there is a problem that binarization cannot be performed accurately.
[0010]
In the method described in [Patent Document 1], a point image is used as a marker, and in the method described in [Patent Document 2], a cross, a bright spot, or a lattice pattern is used as a marker. Markers composed of dots and thin lines are susceptible to measurement errors, and it is difficult to obtain accurate position information.
[0011]
The object of the present invention is to photograph a marker even when the photographed image is affected by various factors such as in-plane unevenness of the projector, the characteristics of the screen, the shape of the screen and the mutual positional relationship between the projector, the screen, and the camera. An object of the present invention is to provide a video display device that can correct a binary image accurately.
[0012]
Another object of the present invention is to provide a video display device that is less susceptible to measurement errors and can acquire accurate position information.
[0013]
[Means for Solving the Problems]
To achieve the above object, the present invention provides a binarized image data holding unit for holding a binarized image composed of a foreground image and a background image, and an image for displaying an image including the binarized image. A binarization operation of the captured image data recorded in the display unit, the imaging unit that captures the displayed image, the captured image data storage unit that stores the captured image data captured by the imaging unit, and the captured image data storage unit It has a binarization calculation unit to be performed and a binary data holding unit that holds binary data output by the binarization calculation unit.
[0014]
In particular, it is preferable to select the foreground color of the foreground image and the background color of the background image so that they are complementary to each other.
[0015]
Markers can be provided for the foreground image and the foreground image, and the marker is composed of a striped pattern composed of the foreground and the background, a checkered pattern composed of the foreground and the background. The striped pattern can be a binary code or a gray code.
[0016]
By obtaining the center of gravity of each checkered pattern or checkered pattern that can be formed by overlapping vertical and horizontal stripes, obtaining geometric information from the center of each square, or obtaining geometric information from binary code or gray code, and using geometric information The necessary image correction data is calculated.
[0017]
DETAILED DESCRIPTION OF THE INVENTION
A first embodiment of the present invention will be described below with reference to FIGS. FIG. 1 is a configuration diagram of a video display apparatus according to the present embodiment.
[0018]
As shown in FIG. 1, the video display device 1 includes a binarization image data holding unit 2 that stores binarization image data and a binarization image data holding unit 2. An image display unit 3 that displays an image or a projected image including a binarized image or displays a video of the video input signal 8, a photographing unit 4 that photographs an image displayed by the image display unit 3, and a photographing unit 4 The captured image data holding unit 5 that stores the image captured in the above as a captured image, the binarization calculation unit 6 that binarizes the captured image recorded in the captured image data storage unit 5, and the binarization calculation unit 6 The binary data holding unit 7 stores the calculated binary data.
[0019]
The binarized image data holding unit 2 includes a foreground image 101 and a background image 102 having an image size of horizontal p _w pixels and vertical p _h pixels. When the image size is SXGA (horizontal 1280 pixels × vertical 1024 pixels), p _w and p _h are as shown in Equation 1.
[0020]
[Expression 1]

[0021]
The color is expressed as (red, green, blue) = (r, g, b), and the range of the values of r, g, b is the range expressed by equation (2).
[0022]
[Expression 2]

[0023]
FIG. 2 is a flowchart for binarizing a captured image. A processing block 10 indicates a process for determining an area to be binarized, and a processing block 20 indicates a process for binarizing an image obtained by photographing a marker.
[0024]
In the case where the binarized area is the entire display screen, as shown in FIG. 3, in the foreground image 101, the entire image is filled with cyan (0, 255, 255) which is the foreground color, and as shown in FIG. In the background image 102, the entire screen is filled with red (255, 0, 0) as the background color. The combination of the foreground color and the background color may not be cyan and red, and may be white and black. However, it is desirable to use two colors that are complementary colors such as cyan and red as described later.
[0025]
The size of the captured image is set to horizontal c _w pixels and vertical c _h pixels. The size of the photographed image is set larger than the image size to be binarized, and is set to a value represented by Equation 3, for example.
[0026]
[Equation 3]

[0027]
In the foreground shooting 11 of the processing block 10, the image display unit 3 displays the foreground image 101, and the foreground shooting image 131 shown in FIG. 5 is shot by the shooting unit 4 so that the binarized area is included in the shot image. Is stored in the captured image data holding unit 5.
[0028]
In the background shooting 12, the image display unit 3 displays the background image 102, and the background shooting image 132 shown in FIG. 6 is captured by the shooting unit 4 so that the binarized area is included in the shot image. , And stored in the captured image data holding unit 5.
[0029]
As shown in FIGS. 5 and 6, the foreground photographed image 131 and the background photographed image 132 include a binarized area and its peripheral part. The color of the area to be binarized is different.
[0030]
Here, at two points C and D, when the color of C is (r _C , g _C , b _C ) and the color of _D is (r _D , g _D , b _D ), between the two points C and D If the color distance is defined by L _2CD represented by _Equation 4, the range of L _2CD is _Equation 5.
[0031]
[Expression 4]

[0032]
[Equation 5]

[0033]
In Equation 4, the reason for dividing by √3 is to make the maximum value 255.
[0034]
When the colors of the points C and D are complementary to each other, for example, red (255, 0, 0) and cyan (0, 255, 255), the value of L _2CD becomes the maximum value of 255. Further, the point C, as the color of D is short, the value of L _2CD decreases, the point C, when the color of D of the same color, the value of L _2CD is zero minimum value. As described above, when two colors which are complementary colors are used, the distance between the two colors becomes large, and it can be distinguished from the peripheral portion where the distance between the two colors is small.
[0035]
Coordinates (c _x, c _y) of the foreground photographed image 131 is represented by the color number 6 of point F in the coordinate (c _x, c _y) of the rear ground captured image 132 color point B is represented by the number 7 Then, the distance L ₂ (c _x , c _y ) between the two points B and F is a function of c _x and c _y shown in Equation 8.
[0036]
[Formula 6]

[0037]
[Expression 7]

[0038]
[Equation 8]

[0039]
A distance L ₂ (c _x , c _y ) for each pixel between the foreground photographed image 131 and the background photographed image 132 is obtained. The distance for each pixel is rounded so as to be any one of 256 gradations from 0 to 255, and the gray image generation 13 is performed.
[0040]
The gray image created by the gray image generation 13 is represented by a histogram of the number of pixels for each gradation as shown in FIG. The foreground photographed image 131 and the background photographed image 132, which are binarized areas, are two colors because the foreground photographed image 131 is a color close to cyan and the background photographed image 132 is a color close to red. can mountain distribution of the number of pixels closer to the distance is the maximum of L ₂ 255. On the other hand, the peripheral portion other than a region is binarized, so the captured image is a color close to black, the value of the distance L ₂ of the two colors can mountain close to the minimum value 0.
[0041]
A threshold value ε for distinguishing a binarized region and a non-binarized region from the obtained histogram is obtained. Here, a method called discriminant analysis is used. The variance between classes when the histogram is divided into two classes according to a certain threshold is obtained by Equation 9, and the threshold ε calculation 14 is performed.
[0042]
Here, in Equation 9, the density level is {1, 2,..., L}, the threshold ε is divided into two classes of pixel level [1, ε] and level [ε + 1, L], and ni Where ω 0, ω 1, μ 0, μ 1, and μt are calculated by Equation 10, where N is the number of pixels at level i and N is the total number of pixels.
[0043]
[Equation 9]

[0044]
[Expression 10]

[0045]
Regarding the gray image created by the gray image generation 13, a pixel equal to or higher than the threshold ε is determined as a pixel in the region to be binarized, and a pixel less than the threshold ε is determined to be a pixel outside the region to be binarized. A determination 15 of a region to be binarized is performed.
[0046]
In this way, the determination of whether or not to perform binarization is performed on all pixels of the photographed image, and the binarized region determination data 151 obtained as a result of the determination is stored in the binary data holding unit 7. 16. As described above, the distance between the peak of the histogram of the foreground photographed image 131 and the background photographed image 132 using the two colors such as cyan and red that increase the distance l ₂ and the peak of the histogram at the peripheral portion is a distance. Therefore, it is possible to perform reliable binarization area determination.
[0047]
Next, a method of binarizing an image obtained by photographing a marker will be described with reference to the processing block 20.
[0048]
As shown in FIG. 8, the binarized image data holding unit 2 fills the area occupied by the marker in the foreground screen with a foreground color, for example, cyan, and fills the area other than the marker with a foreground color, for example, red. An image 103 is recorded. The marker may be provided on the foreground screen, in which case the area occupied by the marker is filled with the foreground color and the area other than the marker is filled with the foreground color. Since the image obtained by photographing the marker is binarized, the marker is arranged in an area to be binarized. The shape of the marker is shown as a circle in FIG. 8, but a shape such as a point, a line, a cross, or a lattice can be adopted, and a plurality of markers may be provided.
[0049]
In the marker photographing 21, the marker image 103 is displayed by the image display unit 3, and the marker photographed image 133 photographed by the photographing unit 4 at the same position as photographed in the processing block 10 is stored in the photographed image data holding unit 5. .
[0050]
Next, binarization 22 of the area occupied by the marker is performed. A flow for determining whether or not the pixel at the coordinates (c _x , _cy ) of the captured image is a pixel of the area occupied by the marker is shown in FIG. explain.
[0051]
In step 31, the coordinates (c _x, c _y) in the region outside judgment data 151 described above examined, if the coordinates was outside the region for performing binarization, the coordinates of the marker captured image 133 in step 36 (c _x , C _y ) is determined as a pixel outside the region occupied by the marker.
[0052]
When the coordinates (c _x , c _y ) of the area inside / outside determination data 151 are within the area to be binarized, processing is performed as follows.
[0053]
The color of the point M located at the coordinates (c _x , c _y ) of the marker photographed image 133 is expressed by Equation 11.
[0054]
[Expression 11]

[0055]
Here, at two points C and D, when the color of C is (r _C , g _C , b _C ) and the color of _D is (r _D , g _D , b _D ), between the two points C and D If the color distance L _1CD is defined by _Equation 12, the range of the distance L _1CD is _Equation 13.
[0056]
[Expression 12]

[0057]
[Formula 13]

[0058]
Also in this case, when the two colors of points C and D are complementary to each other, the value of L _1CD becomes the maximum value 765, and the closer the two colors of points C and D are, the smaller the value of L _1CD is. . When the two colors of points C and D are the same color, the value of L _1CD is 0, which is the minimum value.
[0059]
At this time, the coordinates of the foreground captured image 131 (c _x, c _y) distance F and the point M point situated _{_{_{l 1F (c x, c y}}} ) is a function of the c _x and c _y as shown in Equation 14 to become, the coordinates (c _x, c _y) of the rear ground captured image 132 of the point B and the distance between the point M L _1B (c _x, c _y) is a function of c _x and c _y as shown in Equation 15 Become.
[0060]
[Expression 14]

[0061]
[Expression 15]

[0062]
Since the distance between the two colors becomes smaller as the colors are closer, if the value of L _1F (c _x , c _y ) is smaller, the point M is the foreground color, for example, cyan, and L _1B (c _x , c _y ) If the value of is small, the point M can be regarded as a background color, for example red.
[0063]
Therefore, L _1F (c _x , _cy ) is obtained at step 32, L _1B (c _x , _cy ) is obtained at step 33, and L _1F (c _x , _cy ) and L _1B ( The magnitudes of c _x and c _y ) are compared.
[0064]
If L _1F (c _x , c _y ) is smaller than L _1B (c _x , c _y ), it is determined in step 35 that the pixel at the point M is a pixel in the area occupied by the marker. In 36, the pixel at the point M is determined as a pixel outside the region occupied by the marker. In this way, binarization of the marker photographed image 133 is performed.
[0065]
The processing from step 31 to step 36 is performed for all the pixels of the captured image, binarized marker binarized data 153 including the marker as shown in FIG. 8 is obtained, and the result is stored in the binary data holding unit 7. 23. In this way, it is possible to binarize the marker photographed image by determining whether the region is occupied by the marker.
[0066]
There are various factors that affect the captured image, such as the in-plane unevenness of the projector, the characteristics of the screen, the screen shape and the mutual positional relationship between the projector, the screen, and the camera. Since the determination is based on the background photographed image and the marker photographed image is binarized, it can be prevented from being influenced by the above-described factors. In addition, since the determination is based on the foreground photographed image and the background photographed image that are actual photographed images, binarization with high accuracy can be performed. In addition, since the determination can be made based on the magnitude relationship of a simple expression consisting of addition and subtraction as shown in

Equations

14 and 15, the amount of calculation can be reduced.
[0067]
Thus, according to the first embodiment, it is possible to easily binarize an image obtained by photographing a marker with high accuracy.
[0068]
A second embodiment of the present invention will be described with reference to FIGS. FIG. 11 is a configuration diagram of the video display apparatus according to the present embodiment.
[0069]
As shown in FIG. 11, the video display apparatus according to the present embodiment includes a binarization image data holding unit 2 that stores binarization image data and the binarization image data holding unit 2. An image display unit 3 for displaying a binarized image or a projection image including the binarized image, or displaying a video of the video input signal 8, and a photographing unit 4 for capturing an image displayed by the image display unit 3. The video display control device 40 (details will be described later) .
[0070]
The image display unit 3 includes an image output unit 111, a projector 112, and a screen 113. In addition, a digital camera is used for the photographing unit 4.
[0071]
The video display control device 40 is composed of one or a plurality of personal computers (hereinafter abbreviated as PCs) connected via a network. The video display control device 40 includes a captured image data storage unit 5 that stores an image captured by the imaging unit 4 as a captured image, and a binarization calculation unit that binarizes the captured image recorded in the captured image data storage unit 5. 6, a binary data holding unit 7 that stores the binary data calculated by the binarization calculation unit 6, and geometric information that calculates geometric information data based on the binary data stored in the binary data holding unit 7 A calculation unit 50; a geometric information data storage unit 51 that records the calculated geometric information data; an image correction calculation unit 52 that calculates image correction data from the geometric information data recorded in the geometric information data storage unit 51; The image correction data storage unit 53 stores the image correction data calculated by the correction calculation unit 52.
[0072]
When correcting image distortion, the image output unit 111 extracts image data to be displayed from the binarized image data stored in the HDD of the PC, and transmits the image data to the projector 112 as an image signal. Projects an image onto the screen 113. The image projected on the screen 113 by the projector 112 is photographed by the photographing unit 4 that is a digital camera, and the photographed image is stored in the photographed image data holding unit 5.
[0073]
When projecting an image, the image output unit 111 performs geometric deformation correction on the image input signal 8 based on the image correction data, and sends the corrected image signal to the projector 112. The projector 112 projects the corrected image on the screen 113.
[0074]
The binarization calculation unit 6 and binarization data holding unit 7 determine the area to be binarized and the area occupied by the marker in the same manner as in the first embodiment. In the present embodiment, the geometric information described below is calculated using the determination result of the region to be binarized and the determination result of the region occupied by the marker.
[0075]
Here, the geometric information means the association between the photographing coordinate system of the photographing unit 4 which is a digital camera and the projection coordinate system of the projector 112, and the calculation of the geometric information means the photographing coordinates (c _x , cy _). ) And the projection coordinates (p _x , p _y ).
[0076]
The binarized image data holding unit 2 includes a vertical stripe marker image 104 having vertical stripe markers as shown in FIGS. 12 and 13, and a horizontal stripe marker image 105 having horizontal stripe markers.
[0077]
Vertical stripes marker image 104 is arranged red line and the cyan line width b _h alternately from left to right, the width b _h, cyan lines arranged at intervals b _h a marker. Further, horizontal stripes marker image 105, from the top towards the bottom are arranged alternately red line and the cyan line width b _v, the width b _v, cyan lines arranged at intervals b _v is a marker. Here, the values of the width b _h and the width b _v are set to widths at which individual stripes can be identified when the image capturing unit 4 captures images.
[0078]
The vertical stripe marker image 104 and the horizontal stripe marker image 105 are projected from the projector 112 onto the screen 113, and the binarized images taken by the photographing unit 4 are the vertical stripe marker binary data 154 shown in FIG. The horizontal stripe marker binary data 155 shown in FIG. The vertical stripe binary data 154 and the horizontal stripe binary data 155 are stored in the binary data holding unit 7.
[0079]
At this time, the vertical stripe image 104 shown in FIG. 12, the lattice stripe 106 obtained by superimposing the horizontal stripe image 105 shown in FIG. 13, the vertical stripe binary data 154 shown in FIG. 14, and the horizontal stripe binary data 155 shown in FIG. The checkered stripes 156 are as shown in FIG.
[0080]
Here, the center of gravity of each grid of the checkerboard pattern 106 and the checkered pattern 156 is obtained, and the center of gravity is associated with each other as shown in FIG. Boundary points and grid points are not associated with each other, and centroids are associated with each other because boundaries and lattice points are easily affected by measurement errors and binarization errors, and centroids are less susceptible to measurement errors and binarization errors. Because.
[0081]
In this way, it is possible to associate the imaging coordinates (c _x , c _y ) with the projected coordinates (p _x , p _y ) using the barycentric position of the lattice fringes.
[0082]
The points other than the center of gravity are calculated by an interpolation method such as bilinear interpolation that associates points other than the center of gravity or bicubic interpolation as shown in FIG. In bilinear interpolation, as shown in FIG. 18, when the four points arranged in the projection coordinate system correspond to the four points of the photographing coordinates, the internal ratio s: (1-s) in the horizontal direction, The internal dividing point 206 and the internal dividing point 256 which are obtained by the division ratio t: (1-t) correspond to each other. In this way, the correspondence between the imaging coordinate system of the imaging unit 4 and the projection coordinate system of the projector 112 is calculated to obtain geometric information.
[0083]
The calculated geometric information data is stored in the geometric information data storage unit 51, the image correction calculation unit 52 calculates the positional correction from the geometric information data to calculate the image correction data, and the calculated image correction data is The data is recorded in the image correction data storage unit 53. For example, the image distortion can be obtained by comparing the positions of the centroids, and the correction value of the image distortion can be calculated based on the obtained image distortion.
[0084]
Using the geometric information calculated in this way, a high accuracy is obtained from the correspondence between the imaging coordinate system captured for the foreground image and the background image and the projection coordinate system obtained by capturing the projected image. Image correction data can be calculated.
[0085]
Instead of using the vertical stripe image 104 and the horizontal stripe image 105, a method using a checkered pattern image of cyan as the foreground and red checkered pattern as shown in FIG. 19 can be applied. Also in this case, as described above, the correspondence between the center of gravity of each cell is obtained, and the geometric information is calculated. However, the method using the vertical stripe image and the horizontal stripe image is more accurate because the area is not erroneously recognized between the diagonally adjacent cells.
[0086]
There is also a method of using a plurality of striped patterns of binary code or gray code as the striped pattern. FIG. 20 is a diagram showing vertical stripes of the binary code. For binary code and gray code, the bit pattern is determined for each coordinate, so if the binarization of all the vertical stripes is finished, the calculation in the x direction can be omitted, and if the binarization of all the horizontal stripes is finished, the y direction Since the calculation of geometric information can be completed even if this calculation is omitted, there is an advantage that the calculation can be simplified. Further, since the gray code is more resistant to errors than the binary code, it is preferable to use the gray code when using this method.
[0087]
【The invention's effect】
According to the present invention, since the area to be binarized is determined based on the foreground image and the background image, binarization can be easily performed with high accuracy.
[0088]
Further, by calculating geometric information from data obtained by binarizing a stripe pattern or a checkered pattern, it is possible to perform image correction with high accuracy.
[Brief description of the drawings]
FIG. 1 is a configuration diagram of a video display apparatus according to a first embodiment of the present invention.
FIG. 2 is a flowchart for binarizing a captured image.
FIG. 3 is a plan view for explaining a foreground image.
FIG. 4 is a plan view for explaining a background image.
FIG. 5 is a plan view illustrating an image obtained by capturing a foreground image.
FIG. 6 is a plan view illustrating an image obtained by capturing a background image.
FIG. 7 is a diagram illustrating a relationship between a gray image and its histogram.
FIG. 8 is a plan view for explaining a marker image.
FIG. 9 is a flowchart for binarizing an image obtained by photographing a marker.
FIG. 10 is a plan view illustrating binarization of a marker image.
FIG. 11 is a configuration diagram of a video display apparatus according to a second embodiment of the present invention.
FIG. 12 is a plan view showing an image with a vertical stripe pattern.
FIG. 13 is a plan view showing an image with a horizontal stripe pattern.
FIG. 14 is a plan view showing binarization of an image obtained by capturing a vertical stripe pattern image.
FIG. 15 is a plan view showing binarization of an image obtained by photographing a horizontal stripe pattern image.
FIG. 16 is a diagram illustrating a correspondence relationship between an image of a checkered pattern and binarization of a captured image.
FIG. 17 is a diagram illustrating a correspondence relationship between projected images of checkered patterns and centroids of captured images.
FIG. 18 is a diagram illustrating bilinear interpolation.
FIG. 19 is a plan view showing a checkered pattern image.
FIG. 20 is a plan view for explaining a binary code.
FIG. 21 is a diagram for explaining binarization when a part of the shooting screen becomes dark.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 ... Video display apparatus, 2 ... Image data holding part for binarization, 3 ... Image display part, 4 ... Imaging | photography part, 5 ... Captured image data holding part, 6 ... Binarization calculating part, 7 ... Binary data holding 8 ... Image input signal 40 ... Video display control device 50 ... Geometric information calculation unit 51 ... Geometric information data storage unit 52 ... Image correction calculation unit 53 ... Image correction data storage unit 111 ... Image output unit 112 ... projector, 113 ... screen.

Claims

A binarized image data holding unit storing a binarized image, an image display unit displaying an image including the binarized image from the binarized image data holding unit, and the image An imaging unit that captures an image displayed on the display unit, a captured image data storage unit that stores an image captured by the imaging unit as a captured image, and a captured image recorded in the captured image data storage unit are binarized. A binarization calculation unit and a binary data holding unit for saving binary data calculated by the binarization calculation unit, and the binarization image stored in the binarization image data holding unit The foreground image and the background image of the background are composed of the foreground image and the background image. A foreground photographed image and a background photographed image including a binarized image. An area which is displayed on the image display unit, photographed by the photographing unit, recorded in the photographed image data holding unit, and binarized by the binarization calculation unit from the photographed foreground photographed image and background photographed image A video display device that performs the determination and stores the determination result in the binary data holding unit.

An adjustment device for adjusting a video display device using a photographing device,
The imaging device shoots a foreground image filled with a foreground color to generate a foreground photographed image, and displays a foreground image filled with a foreground color on the video display device. Shooting the state to generate a foreground shot image, and shooting a state in which the marker image composed of the foreground color and the background color is displayed on the video display device to generate a marker shot image,
further,
A binarization unit that binarizes the marker photographed image based on the foreground photographed image and the background photographed image;
An image correction calculation unit that calculates image correction data for geometrically correcting a video displayed on the video display device based on a processing result of the binarization calculation unit;
With
The adjustment device, wherein the foreground color and the rear color are configured to have different colors.

An adjustment device for adjusting a video display device using a photographing device,
The imaging device shoots a foreground image filled with a foreground color to generate a foreground photographed image, and displays a foreground image filled with a foreground color on the video display device. Shooting the state to generate a foreground shot image, and shooting a state in which the marker image composed of the foreground color and the background color is displayed on the video display device to generate a marker shot image,
further,
An area determination unit that determines a processing area that needs to be binarized based on the foreground photographed image and the background photographed image;
A binarization unit that binarizes the marker photographed image based on the foreground photographed image, the background photographed image, and the processing region;
An image correction calculation unit that calculates image correction data for geometrically correcting a video displayed on the video display device based on a processing result of the binarization calculation unit;
With
The adjustment device, wherein the foreground color and the rear color are configured to have different colors.

The adjustment device according to claim 2, wherein the foreground color and the rear color are configured to be complementary to each other.

An adjustment method for adjusting a video display device using a photographing device,
A foreground color photographing step of photographing a foreground image filled with a foreground color and generating a foreground photographed image by photographing the state displayed on the video display device;
A background shooting step of shooting a state in which a background image filled with a background is displayed on the video display device to generate a background shooting image;
A marker shooting step of shooting a state in which a marker image composed of the foreground color and the rear color is displayed on the video display device to generate a marker shot image;
A binarization step for binarizing the marker photographed image based on the foreground photographed image and the background photographed image;
An image correction data calculating step for calculating image correction data for geometrically correcting the video displayed by the video display device based on the processing result of the binarization step;
With
The adjustment method according to claim 1, wherein the foreground color and the rear color are different from each other.

An adjustment method for adjusting a video display device using a photographing device,
A foreground color photographing step of photographing a foreground image filled with a foreground color and generating a foreground photographed image by photographing the state displayed on the video display device;
A background shooting step of shooting a state in which a background image filled with a background is displayed on the video display device to generate a background shooting image;
A marker shooting step of shooting a state in which a marker image composed of the foreground color and the rear color is displayed on the video display device to generate a marker shot image;
An area determination step for determining a processing area that needs to be binarized based on the foreground photographed image and the background photographed image;
A binarization step for binarizing the marker photographed image based on the foreground photographed image, the background photographed image, and the processing region;
An image correction data calculating step for calculating image correction data for geometrically correcting the video displayed by the video display device based on the processing result of the binarization step;
With
The adjustment method according to claim 1, wherein the foreground color and the rear color are different from each other.

The foreground color and the rear color are complementary colors,
The adjustment method according to claim 5.