JP4415101B2 - Image projection apparatus and image projection method - Google Patents

Description

【００１３】
ここでＳ、Ｐの対応はそれぞれ既知であるので、４点以上の対応点の組によってＶを最小２乗法で推定することができる。以上が、キャリブレーション処理である。
【００１４】
次に、上記で求めた補正用パラメータＶを用いて、予め記憶されている投影用の画像データを歪みのないように変換して記憶する（ステップ２２０７）。
【００１５】
全ての記憶画像について歪み補正の変換処理が完了するまで、ステップ２２０７の処理を繰り返す（ステップ２２０８）。この時、歪みを無くすために変換処理を行うのと同様にして、投影面上の任意位置に投影を行うための変換をすることもできる。
【００１６】
次に、利用者のキー操作により投影モードが設定される（ステップ２２０９）と、補正済み画像データが、液晶プロジェクタ（投影部）２１０３によって、投影面２１０１に投影される（ステップ２２１０）。
【００１７】
【発明が解決しようとする課題】
しかしながら、図２１に示したような従来の画像投影装置によれば、キャリブレーション時に、利用者が、投影面２１０１上の格子パターンを基準にしてスクリーン座標を計測することになるため、スクリーン座標の読み取り誤差が生じるという問題があった。
【００１８】
また、投影位置の指定を行う場合にも、利用者が、投影面２１０１上の格子パターンを基準にして位置指定のためのスクリーン座標を計測することになるため、スクリーン座標の読み取り誤差により位置指定の誤差が生じるという問題があった。
【００１９】
したがって、本発明は、上記の問題点を解決するもので、その目的は、スクリーン座標を自動的に計測することができ、投影の歪み補正を含む画像変換パラメータの算出誤差を低減することができる画像投影装置及び画像投影方法を提供することである。
【００２０】
【課題を解決するための手段】
上記課題を解決するため、本発明の第１の態様の画像投影装置は、所定のスクリーン座標系を有し、スクリーン座標系の座標値で定義された計測点と、スクリーン座標系の座標値で定義され、投影画像の投影位置や形状を指示する投影指示点とを有する投影面に画像を投影する画像投影装置であって、所定の被投影面座標系を有する液晶パネルを備え、投影面に対して画像の投影を行う投影手段と、投影面上の計測点と投影指示点、及び投影面に投影された画像を撮像画像として撮像する撮像手段と、撮像部で撮像した撮像画像を格納する画像メモリと、キャリブレーションモードまたは投影モードの何れかのモード選択信号を出力するモード入力手段と、撮像された計測点と投影画像に基づいて、スクリーン座標系と被投影面座標系の変換パラメータを推定する投影パラメータ推定手段と、投影指示点の座標値から投影指示点座標を計測する投影指示点座標計測手段と、変換パラメータと投影指示点座標を格納するメモリと、メモリに格納された投影指示点座標で指定される投影位置に投影画像を配置して、スクリーン座標で表現された想定投影画像を生成する想定投影画像生成手段と、メモリに格納された変換パラメータに基づいて、想定投影画像を被投影面座標系の座標値を有する画像に変換するスクリーン−被投影面座標変換手段と、を有することを特徴とする。
【００２１】
また、上記課題を解決するため、本発明の第２の態様の画像投影装置は、所定のスクリーン座標系を有し、スクリーン座標系の座標値で定義された計測点と、スクリーン座標系の座標値で定義され、投影画像の投影位置や形状を指示する投影指示点とを有する投影面に画像を投影する画像投影装置であって、所定の被投影面座標系を有する液晶パネルを備え、投影面に対して画像の投影を行う投影手段と、投影面上の計測点と投影指示点、及び投影面に投影された画像を撮像画像として撮像する撮像手段と、撮像部で撮像した撮像画像を格納する画像メモリと、キャリブレーションモードまたは投影モードの何れかのモード選択信号を出力するモード入力手段と、撮像された計測点と投影画像に基づいて、スクリーン座標系と被投影面座標系の変換パラメータを推定する投影パラメータ推定手段と、投影指示点の座標値から投影指示点座標を計測する投影指示点座標計測手段と、変換パラメータと投影指示点座標を格納するメモリと、投影される画像を格納する投影画像蓄積手段と、投影画像蓄積手段から任意の投影画像を選択する投影画像選択手段と、メモリに格納された投影指示点座標で指定される投影位置に投影画像選択手段で選択された投影画像を配置して、スクリーン座標で表現された想定投影画像を生成する想定投影画像生成手段と、メモリに格納された変換パラメータに基づいて、想定投影画像を被投影面座標系の座標値を有する画像に変換するスクリーン−被投影面座標変換手段と、を有することを特徴とする。
【００２２】
また、上記課題を解決するため、本発明の第３の態様の画像投影装置は、所定のスクリーン座標系を有し、スクリーン座標系の座標値で定義された計測点と、スクリーン座標系の座標値で定義され、投影画像の投影位置や形状を指示する投影指示点とを有する投影面に画像を投影する画像投影装置であって、所定の被投影面座標系を有する液晶パネルを備え、投影面に対して画像の投影を行う投影手段と、投影面上の計測点と投影指示点、及び投影面に投影された画像を撮像画像として撮像する撮像手段と、撮像部で撮像した撮像画像を格納する画像メモリと、キャリブレーションモードまたは投影モードの何れかのモード選択信号を出力するモード入力手段と、撮像された計測点と投影画像に基づいて、スクリーン座標系と被投影面座標系の変換パラメータを推定する投影パラメータ推定手段と、投影指示点の座標値から投影指示点座標を計測する投影指示点座標計測手段と、変換パラメータと投影指示点座標を格納するメモリと、投影される画像を格納する投影画像蓄積手段と、投影画像蓄積手段から任意の投影画像を選択する投影画像選択手段と、メモリに格納された投影指示点座標で指定される投影位置に、投影画像選択手段で選択された投影画像または外部から入力された投影画像を配置して、スクリーン座標で表現された想定投影画像を生成する想定投影画像生成手段と、メモリに格納された変換パラメータに基づいて、想定投影画像を被投影面座標系の座標値を有する画像に変換するスクリーン−被投影面座標変換手段と、を有することを特徴とする。
【００２３】
ここで、投影パラメータ推定手段は、モード入力手段からキャリブレーションモードが出力された際に、撮像手段で撮像された撮像画像を入力するスイッチ手段と、スイッチから入力される撮像画像をアナログ／ディジタル変換するＡ／Ｄ変換手段と、画像メモリに格納された撮像画像から撮像手段で定義される撮像面座標系における計測点の座標値を抽出する計測点抽出手段と、計測点の撮像面座標系における座標値とスクリーン座標系における座標値から撮像面―スクリーン座標間変換パラメータを推定する撮像面−スクリーン座標変換パラメータ推定手段と、画像メモリに格納された撮像画像から投影手段で投影された投影光の４つの頂点の撮像面座標系における座標値をそれぞれ抽出し、メモリに格納された撮像面−スクリーン座標変換パラメータに基づいて、投影光の４つの頂点の撮像面座標系における座標値をスクリーン座標系の座標値に変換して出力する投影光頂点座標抽出手段と、投影光の４つの頂点のスクリーン座標系の座標値と投影画像の被投影面座標系の座標値とに基づいて、スクリーン−被投影面座標変換パラメータを変換パラメータとして推定するスクリーン−被投影面座標変換パラメータ手段と、を有するようにしてもよい。
【００２４】
また、上記課題を解決するため、本発明の第１の態様の画像投影方法は、投影面に画像を投影する画像投影方法であって、投影指示点と計測点を設けた投影面に投光し、投影面の投光領域を全て含むように撮影し、撮影した画像をＡ／Ｄ変換してディジタル画像を生成し、ディジタル画像から投影面上の計測点の撮像面座標を抽出し、計測点の撮像面座標に基づいて、撮像面座標とスクリーン座標間の変換パラメータである撮像面−スクリーン座標変換パラメータを推定し、ディジタル画像から投光領域の４つの頂点を抽出して当該４つの頂点の撮像面座標を求め、投光領域の４つの頂点の撮像面座標を撮像面−スクリーン座標変換パラメータによってスクリーン座標に変換し、スクリーン座標に基づいて、スクリーン座標系と被投影面座標系間の変換パラメータであるスクリーン−被投影面座標変換パラメータを推定し、ディジタル画像から投影指示点の撮像面座標を抽出し、投影指示点の撮像面座標を撮像面−スクリーン座標変換パラメータを用いてスクリーン座標に変換し、投影画像をロードして、スクリーン座標系の座標値を有する想定投影画像を生成し、想定投影画像のスクリーン座標系の座標値をスクリーン−被投影面座標変換パラメータによって、被投影座標系の座標値に変換して被投影画像を生成し、被投影画像を投影することによって、想定投影画像と同一の形状でかつ位置決めされた歪みのない投影画像を投影面上に形成する、ことを特徴とする。
【００２５】
これにより、スクリーン座標の自動計測を可能にし、歪み補正を含む画像変換パラメータ算出の誤差を小さく抑える。
【００２６】
また、上記課題を解決するため、本発明の第４の態様の画像投影装置は、さらに、投影手段から投影される基準画像を生成する投影基準画像生成手段と、前期投影手段に接続され、モード入力部の出力モードに応じて、基準画像と投影画像の切替を行う切替手段と、を備えることを特徴とする。
【００２７】
このとき、投影パラメータ推定手段は、モード入力手段からキャリブレーションモードが出力された際に、撮像手段で撮像された撮像画像を入力するスイッチ手段と、スイッチから入力される撮像画像をアナログ／ディジタル変換するＡ／Ｄ変換手段と、画像メモリに格納された撮像画像から撮像手段で定義される撮像面座標系における計測点の座標値を抽出する計測点抽出手段と、計測点の撮像面座標系における座標値とスクリーン座標系における座標値から撮像面―スクリーン座標間変換パラメータを推定する撮像面−スクリーン座標変換パラメータ推定手段と、投影基準画像から撮像面座標系における投影基準点の座標値を抽出し、メモリに格納された撮像面−スクリーン座標変換パラメータによって、撮像面座標系における投影基準点の座標値をスクリーン座標系における投影基準点の座標値に変換して出力する投影基準点座標抽出手段と、投影基準点のスクリーン座標系の座標値と投影画像の被投影面座標系の座標値とに基づいて、スクリーン−被投影面座標変換パラメータを変換パラメータとして推定するスクリーン−被投影面座標変換パラメータ手段と、を有するようにするとよい。
【００２８】
また、上記課題を解決するため、本発明の第２の態様の画像投影方法は、投影面に画像を投影する画像投影方法であって、複数の投影基準点を有する投影基準画像を投影面に投影し、投影面の投影基準画像を全て含むように撮影し、撮影した投影基準画像をＡ／Ｄ変換してディジタル画像を生成し、ディジタル画像から投影面上の計測点の撮像面座標を抽出し、計測点の撮像面座標に基づいて、撮像面座標とスクリーン座標間の変換パラメータである撮像面−スクリーン座標変換パラメータを推定し、ディジタル画像から複数の投影基準点を抽出して全ての投影基準点の撮像面座標を求め、全ての投影基準点の撮像面座標を撮像面−スクリーン座標変換パラメータによってスクリーン座標に変換し、スクリーン座標に基づいて、スクリーン座標系と被投影面座標系間の変換パラメータであるスクリーン−被投影面座標変換パラメータを推定し、ディジタル画像から投影指示点の撮像面座標を抽出し、投影指示点の撮像面座標を撮像面−スクリーン座標変換パラメータを用いてスクリーン座標に変換し、投影画像をロードして、スクリーン座標系の座標値を有する想定投影画像を生成し、想定投影画像のスクリーン座標系の座標値をスクリーン−被投影面座標変換パラメータによって、被投影座標系の座標値に変換して被投影画像を生成し、被投影画像を投影することによって、想定投影画像と同一の形状でかつ位置決めされた歪みのない投影画像を投影面上に形成する、ことを特徴とする。
【００２９】
投影基準画像を生成し、計測点と投影基準画像を用いて投影面座標系と投影部座標系の変換パラメータを推定することで、画像変換パラメータ算出の誤差のより一層の低減を図る。
【００３０】
また、上記課題を解決するため、本発明の第５の態様の画像投影装置は、投影面には、各頂点がスクリーン座標系における所定の座標値を有する平面矩形画像を配置され、投影パラメータ推定手段は、画像メモリに格納された撮像画像から、平面矩形画像の各頂点の撮像面座標系による座標値を抽出する投影矩形面頂点座標抽出手段と、平面矩形画像の各頂点の撮像面座標系による座標値とスクリーン座標系における所定の座標値に基づいて、撮像面−スクリーン座標間変換パラメータを変換パラメータとして推定する撮像面・スクリーン座標変換パラメータ推定手段と、を備え、投影指示点座標計測手段は、撮像された平面矩形画像の各頂点を投影指示点として投影指示点座標を計測し、投影手段は、平面矩形画像上に投影画像を投影する、ことを特徴とする。
【００３１】
また、上記課題を解決するため、本発明の第３の態様の画像投影方法は、投影面に画像を投影する画像投影方法であって、投影指示点と投影矩形面を設けた投影面に投光し、投影面の投光領域を全て含むように撮影し、撮影した画像をＡ／Ｄ変換してディジタル画像を生成し、ディジタル画像から投影面上の投影矩形面の４つの頂点の撮像面座標を抽出し、投影矩形面の４つの頂点の撮像面座標に基づいて、撮像面座標とスクリーン座標間の変換パラメータである撮像面−スクリーン座標変換パラメータを推定し、ディジタル画像から投光領域の４つの頂点を抽出して当該４つの頂点の撮像面座標を求め、投光領域の４つの頂点の撮像面座標を撮像面−スクリーン座標変換パラメータによってスクリーン座標に変換し、スクリーン座標に基づいて、スクリーン座標系と被投影面座標系間の変換パラメータであるスクリーン−被投影面座標変換パラメータを推定し、ディジタル画像から投影指示点の撮像面座標を抽出し、投影指示点の撮像面座標を撮像面−スクリーン座標変換パラメータを用いてスクリーン座標に変換し、投影画像をロードして、スクリーン座標系の座標値を有する想定投影画像を生成し、想定投影画像のスクリーン座標系の座標値をスクリーン−被投影面座標変換パラメータによって、被投影座標系の座標値に変換して被投影画像を生成し、被投影画像を投影することによって、想定投影画像と同一の形状でかつ位置決めされた歪みのない投影画像を投影面上に形成する、ことを特徴とする。
【００３２】
投影面上に配置した平面画像の頂点を計測点として変換パラメータを推定し、平面画像の頂点を投影指示点として投影指示点座標を計測することで、スクリーン上の任意位置に配置した平面画像上に自動的に歪み補正をした投影像を投影することができる。
【００３３】
さらに、上述した画像投影装置においては、撮像画像の領域のうち投影画像領域以外の周辺領域の色を変換する周辺色変換手段を有することもできる。この周辺色変換手段は、撮像画像の領域のうち投影画像領域以外の周辺領域の色を、光を透過させない色に変換するようにするとよい。
【００３４】
また、上述した画像投影方法においては、想定投影画像を生成するステップの後に、想定投影画像のうち選択画像以外の部分の色を変換するステップを備えることもできる。このとき、想定投影画像のうち選択画像以外の部分の色を光の透過しない色に変換するようにするとよい。
【００３５】
投影領域内の画像情報を有さない周辺部について、光を透過させない色に変換することで、無駄な投影光の部分がなく、歪みを補正した投影画像を提供することができる。
【００３６】
さらに、上述した画像投影装置においては、撮像手段と投影手段の光軸を同一にする光軸一致手段を有するようにするとよい。
【００３７】
ハーフミラーなどを設けて投影光軸と撮像光軸を一致させるため、投影面の配置位置に応じて撮像領域を変更する必要がなく、撮像部のパン、チルト及びズーム制御などの初期設定が不要となり、より利便性を向上することができる。
【００３８】
また、上述した画像投影方法においては、投光領域の４つの頂点の撮像面座標を求めるステップは、投影領域の各辺の直線の方程式をＨｏｕｇｈ変換で求め、それぞれの直線の交点を投光領域の４つの頂点の撮像面座標として求めることができる。また、スクリーン−被投影面座標変換パラメータを推定するステップは、４点以上の投影基準点のスクリーン座標に基づいて、最小２乗法でスクリーン−被投影面座標変換パラメータを推定するとよい。また、撮像面−スクリーン座標変換パラメータを推定するステップは、４点以上の計測点または投影矩形面の４つの頂点の撮像面座標に基づいて、最小２乗法で撮像面−スクリーン座標変換パラメータを推定することもできる。
【００３９】
【発明実施の形態】
＜実施の形態１＞
以下、本発明の第１の実施の形態について、図面を参照しながら説明する。図１は、本発明の画像投影装置の構成の一例を示す図である。図１において、この画像投影装置は、投影面１０１を撮影するＣＣＤ（Charge Coupled Device）カメラなどの撮像部１０２と、利用者などの外部からキャリブレーションモードや投影モードなどのモード指示を受けるモード入力部１０３と、モード入力部１０３でキャリブレーションモードが指定された時に撮像部１０２で撮影されたアナログ画像情報を出力するスイッチ１０４と、画像情報のアナログ／ディジタル（Ａ／Ｄ）変換を行うＡ／Ｄ変換部１０５と、Ａ／Ｄ変換されたディジタル画像を蓄積する画像メモリ１０６と、計測点１０１ａを画像から抽出し、その撮像面座標を出力する計測点抽出部１０７と、抽出された複数の計測点１０１ａの撮像面座標と計測点１０１ａの投影面１０１上におけるスクリーン座標から両座標系間の変換パラメータ（撮像面−スクリーン座標変換パラメータ）を推定する撮像面−スクリーン座標変換パラメータ推定部１０８と、投影部１１３から投影される投影光の輪郭四角形の４つの頂点の撮像面座標を抽出して、撮像面−スクリーン座標変換パラメータによってそれら撮像面座標をスクリーン座標に変換して出力する投影光頂点抽出部１０９と、投影光頂点抽出部１０９で抽出された４頂点のスクリーン座標、撮像面−スクリーン座標変換パラメータ及びこの４頂点に対応する被投影面座標からスクリーン座標系と被投影面座標系の変換パラメータ（スクリーン−被投影面座標変換パラメータ）を推定するスクリーン−被投影面座標変換パラメータ推定部１１０と、投影指示点１０１ｂの撮像面座標を画像から抽出して、撮像面−スクリーン座標変換パラメータを用いてそのスクリーン座標を出力する投影指示点座標計測部１１１と、投影光の輪郭四角形４頂点のスクリーン座標値、投影光指示点１０１ｂのスクリーン座標値、撮像面−スクリーン面変換パラメータ、スクリーン−被投影面変換パラメータを記憶するメモリ１１２と、利用者などの外部から指定され選択された画像を投影する投影部１１３と、投影モードにおいて利用者などの外部からの入力に応じて投影する画像を選択する投影画像選択部１１４と、メモリ１１２に蓄積された投影光の輪郭四角形４頂点座標及び投影指示点座標から投影面１０１上に投影が想定される画像（スクリーン座標系で表現）を生成する想定投影画像生成部１１５と、利用者などの外部から選択された画像を蓄積する投影画像蓄積部１１６と、スクリーン座標系で表現された想定投影画像をメモリ１１２に蓄積されたスクリーン−被投影面座標変換パラメータによって被投影面座標系で表現した投影画像に変換して出力するスクリーン−被投影面座標変換部１１７と、を備えている。
【００４０】
ここで、投影面１０１は、撮像面座標系とスクリーン座標系の変換パラメータを推定するのに用いられる計測点１０１ａと投影位置を指示する投影指示点１０１ｂを有する。
【００４１】
次に、各座標系について説明する。
【００４２】
図２は、各座標系関係を示す図である。図２において、撮像面である投影面２０９をｘｙ平面とし、計測点２１１の１点を原点とし、その原点を通る空間的にお互いに直交する３直線をＸw軸、Ｙw軸、Ｚw軸としてスクリーン座標系２０１を設定する。図２においては、図面上向かって右下の点をスクリーン座標系原点としている。なお、どの計測点２１１を原点にしてもよい。このスクリーン座標系２０１の定義によって、投影面２０９上に配置された計測点２１１、投影指示点２０８及び投影光輪郭四角形（以下、単に「投影光」ともいう）２１０の４頂点のスクリーン座標値（Ｘw，Ｙw，０）を定量化できる。
【００４３】
また、投影部１１３（図１）の投影中心を原点とし、投影部１１３の投影軸方向をｚ軸方向、液晶パネル等の被投影面をｘｙ平面としてプロジェクタ座標系（Ｘp，Ｙp，Ｚp）を設定する。
【００４４】
また、ＸpＹp平面に平行な被投影面上に定義される被投影面座標系（ｘp，ｙp）２０３の原点は、投影部１１３の投影軸（ｚp軸）がこの被投影面と交わる点である。
【００４５】
また、撮像部１０２（図１）のレンズ中心を原点とし、撮像部１０２の光軸方向をｚ軸方向、ＣＣＤ素子面をｘｙ平面としてカメラ座標系２０４を設定する。
【００４６】
また、ＸcＹc平面に平行なＣＣＤ素子面上に定義される撮像面座標系（ｘc，ｙc）２０５の原点は、撮像部１０２の光軸（Ｚc軸）がこの撮像面と交わる点である。
【００４７】
また、投影部１１３及び撮像部１０２は、それぞれ焦点距離Ｆp２０６と焦点距離Ｆc２０７を有する。
【００４８】
以下、上記のように構成された画像投影装置の動作について説明する。
【００４９】
図３は、本発明の画像投影装置の動作を示すフローチャートである。本発明の画像投影装置の動作は、大きくキャリブレーション処理（ステップ３０１〜ステップ３１１）と投影処理（ステップ３１２〜ステップ３１７）の２つの処理で説明することができる。
【００５０】
最初にキャリブレーション処理（ステップ３０１〜ステップ３１１）について説明する。
【００５１】
まず、モード入力部１０３において利用者などの外部からの入力によってキャリブレーションモードが設定される（ステップ３０１）と、投影部１１３が投光された状態（ステップ３０２）で撮像部１０２が投光領域を全て含むように撮影を行う（ステップ３０３）。
【００５２】
モード入力部１０３がスイッチ１０４をＯＮ状態にするため、撮像部１０２で撮影された画像はＡ／Ｄ変換部１０５に入力され、Ａ／Ｄ変換されてディジタル画像として画像メモリ１０６に格納される。
【００５３】
図４は、撮影された画像の例を示す図である。図４において、図２と同様のものには、同一の符号を付している。
【００５４】
次に、計測点抽出部１０７において、画像メモリ１０６に格納されているディジタル画像から投影面１０１上の計測点２１１を画像処理によって抽出し、その撮像面座標（ｘc，ｙc）を出力する(ステップ３０４)。
【００５５】
全ての計測点２１１について全ての抽出を完了したかチェック（ステップ２０６）し、完了していなければステップ３０４の処理を繰り返す。なお、計測点２１１と投影指示点２０８の画像上での識別は、その色や形などを変えるようにして行うとよい。
【００５６】
次に、撮像面−スクリーン座標変換パラメータ推定部１０８において、撮像面座標とスクリーン座標間の変換パラメータ（撮像面−スクリーン座標変換パラメータ）を計測点２１１から推定し（ステップ３０６）、この撮像面−スクリーン座標変換パラメータをメモリ１１２に格納する。ここで、一般に、スクリーン上の点（Ｘw1，Ｙw1，０）とその点が撮像された時の撮像面座標（ｘc1，ｙc1）は、以下の＜式３＞または＜式４＞のように表すことができる。

【００５７】
ここで、それぞれの計測点２１１の撮像面座標（ｘc1，ｙc1）とスクリーン座標（Ｘw1，Ｙx1，０）の対応関係は既知であるので、４点以上の計測点２１１の対応によって変換パラメータ行列Ｌを最小２乗法で推定することができる。
【００５８】
次に、投影光頂点抽出部１０９において、ディジタル画像より投影光２１０の輪郭四角形の４頂点を画像処理によって抽出し、その撮像面座標（ｘc2，ｙc2）を求め、それら撮像面座標を撮像面−スクリーン座標変換パラメータによってスクリーン座標（Ｘw2，Ｙw2，０）に変換する（ステップ３０７）。
【００５９】
このスクリーン座標（Ｘw2，Ｙw2，０）をメモリ１１２に格納し、かつスクリーン−被投影面座標変換パラメータ推定部１１０に出力する。また、処理後の画像をメモリ１１２に出力する。そして、４つの頂点全ての処理が終了するまで（ステップ３０８）、ステップ３０７の処理を繰り返す。ここで、４頂点の撮像面座標（ｘc2，ｙc2）は、例えば、投影光２１０の輪郭四角形の各辺の直線の方程式をＨｏｕｇｈ変換などで求め、その４直線の交点を求めることで得ることができる。
【００６０】
次に、スクリーン−被投影面座標変換パラメータ推定部１１０において、スクリーン座標系と被投影面座標系間の変換パラメータ（スクリーン−被投影面座標変換パラメータ）を４頂点を用いて推定し（ステップ３０９）、メモリ１１２に格納する。
【００６１】
一般に、スクリーン上の点（Ｘw2，Ｙw2，０）とその点の液晶パネル上の被投影面座標（ｘp2，ｙp2）は、以下の＜式５＞または＜式６＞のように表すことができる。

【００６２】
ここで、投影光２１０の輪郭四角形４頂点の被投影面座標（ｘp2，ｙp2）は、液晶パネル上の被投影矩形領域の４頂点に対応するため、容易に求めることができる。よって、４頂点の被投影面座標とスクリーン座標双方が既知となるため、その対応を用いて＜式５＞の連立方程式を解くことにより、スクリーン−被投影面座標変換パラメータＭを推定することができる。
【００６３】
次に、投影指示点座標計測部１１１において、ディジタル画像より投影指示点２０８を画像処理によって抽出し、その撮像面座標（ｘc3，ｙc3）を求め、メモリ１１２に格納されている撮像面−スクリーン座標変換パラメータを用いて（ｘc3，ｙc3）をスクリーン座標（Ｘw3，Ｙw3，０）に変換し（ステップ３１０）、メモリ１１２に格納する。
【００６４】
ここで、複数の投影指示点２０８がある場合には、ステップ３１０の処理を繰り返す（ステップ３１１）。この複数の投影指示点２０８の配置によって、投影位置やその投影の縦横比などを指定することもできる。
【００６５】
以上のステップ３１０〜３１１の処理がキャリブレーション処理となる。次に、投影処理について説明する。
【００６６】
モード入力部１０３において、利用者などの外部からの入力により投影モードが設定され（ステップ３１２)、投影画像選択部１１４において投影画像が選択される（ステップ３１３）と、変換処理を経て投影画像が投影部１１３によって投影される。
【００６７】
図５は、投影の一例の様子を示す図である。図５に示すように、投影光（投影画像）２１０が投影指示点２０８を左上頂点として歪みなく投影される。
【００６８】
投影画像選択部１１４において、利用者などの外部から投影画像が選択される（ステップ３１３）と、想定投影画像生成部１１５では、投影画像蓄積部１１６から選択画像をロードして、投影面１０１上に投影される投影像と同一の想定投影画像を生成する（ステップ３１４）。
【００６９】
図６は、想定投影画像を示す図である。この想定投影画像は、スクリーン座標系で表現され、スクリーン上に投影される投影像と同一の画像である。選択画像５０１は投影指示点２０８を左上頂点に一致するように、かつ投影光２１０の領域内に全体が納まるように拡大または縮小されて配置される。
【００７０】
次に、スクリーン−被投影面座標変換部１１７では、図６に示すスクリーン座標系表現の想定投影画像をスクリーン−被投影面座標変換パラメータＭにより、被投影座標系表現にし、被投影画像を生成する（ステップ３１５）。
【００７１】
そして、この被投影画像を投影部１１３で投影する（ステップ３１６）と、想定投影画像と同一の形状かつ位置決めされた歪みのない投影画像が投影面１０１上に形成される。
【００７２】
次に、利用者などの外部から投影終了が選択される（ステップ３１７）まで、ステップ３１３〜ステップ３１６の処理が繰り返される。
【００７３】
なお、上述の実施の形態では、投影指示点２０８が１つの場合について説明したが、この他にも、例えば、２点の投影指示点２０８で選択画像５０１の左辺を示すようにして、その投影位置だけでなく投影縮尺を指示することもできる。
【００７４】
図７は、２点の投影指示点２０８で定められた線分７０１と選択画像５０１の左辺とが一致するように、選択画像５０１を配置した例を示す図である。ここで、図７（ａ）は、選択画像５０１の配置前を示し、図７（ｂ）は、選択画像５０１の配置後を示す。図７の場合、選択画像５０１の元々の縦横比ｘ：ｙは、投影面２０９上でも保持される。また、選択画像５０１の縦横比ｘ：ｙを変えるような指示も投影指示点２０８を３点以上に設定することによって可能となる。
【００７５】
図８は、３点の投影指示点２０８で定められた線分７０１と選択画像５０１の左辺とが、及び線分８０１と選択画像５０１の底辺とが一致するように、選択画像５０１を配置した例を示す図である。ここで、図８（ａ）は、選択画像５０１の配置前を示し、図８（ｂ）は、選択画像５０１の配置後を示す。図８の場合、選択画像５０１の元々の縦横比ｘ：ｙは、線分７０１と線分８０１の比ｘ’：ｙ’に変換して投影される。この縦横比の変更における選択画像５０１の変換は、簡単な線形変換で実現することができる。また、選択画像の形状を変えるような指示も投影指示点２０８を４点以上設定することで可能になる。
【００７６】
図９は、４点の投影指示点２０８と選択画像５０１の４つの頂点位置を一致するように変形配置を行った図である。ここで、図９（ａ）は、選択画像５０１の配置前を示し、図９（ｂ）は、選択画像５０１の配置後を示す。図９に示したような形状変更についての選択画像５０１の変換は、ワーピングなどの非線形変換を用いて行うことができる。
【００７７】
以上のように、本実施の形態によれば、キャリブレーション処理用の撮像部１０２及びキャリブレーション処理実行部を備えることにより、利用者などの外部からの設定に応じた位置に、歪みなく選択画像を投影することができる。
【００７８】
なお、本実施の形態では、投影画像蓄積部１１６に蓄積され、利用者により選択された投影画像（選択画像）を歪み無く投影する装置を例に説明しているが、投影画像は外部より入力されるディジタル画像でもよい。これにより、Ａ／Ｄコンバータなどを用いればアナログ信号として存在するテレビジョン信号などについても歪みの無い投影が可能となる。
【００７９】
また、利用者による座標読み取りなどの計測手続きが必要ないため、簡易に位置決め投影ができ、位置決め及び歪み補正の精度を向上することができる。
【００８０】
＜実施の形態２＞
以下、本発明の第２の実施の形態について、図面を参照しながら説明する。
【００８１】
図１０は、本発明の画像投影装置の構成の一例を示す図である。なお、図１０において、図１と同様の構成については同一の符号を付している。図１０に示した画像投影装置は、投影面１０１を撮影するＣＣＤカメラなどの撮像部１０２と、利用者などの外部からキャリブレーションモードや投影モードなどのモード指示を受けるモード入力部１０３と、モード入力部１０３でキャリブレーションモードが指定された時に撮像部１０２で撮影されたアナログ画像情報を出力するスイッチ１０４と、画像情報のアナログ／ディジタル（Ａ／Ｄ）変換を行うＡ／Ｄ変換部１０５と、Ａ／Ｄ変換されたディジタル画像を蓄積する画像メモリ１０６と、計測点１０１ａを画像から抽出し、その撮像面座標を出力する計測点抽出部１０７と、抽出された複数の計測点１０１ａの撮像面座標と計測点１０１ａの投影面１０１上におけるスクリーン座標から両座標系間の変換パラメータ（撮像面−スクリーン座標変換パラメータ）を推定する撮像面−スクリーン座標変換パラメータ推定部１０８と、キャリブレーションモードと投影モードにおける投影画像の切替を行う切替スイッチ１００１と、キャリブレーションモードにおいて使用する投影基準画像を生成する投影基準画像生成部１００２と、利用者などの外部から指定され選択された画像を投影する投影部１１３と、投影部１１３から投影される投影基準画像から投影基準点を画像処理によって抽出してその撮像面座標を求め、後述するメモリ１１２に格納されている撮像面−スクリーン座標変換パラメータによって当該撮像面座標をスクリーン座標に変換する投影基準点座標抽出部１００３と、投影基準点座標抽出部１００３で抽出された投影基準点のスクリーン座標、撮像面−スクリーン座標変換パラメータ及び投影基準点に対応する被投影面座標からスクリーン座標系と被投影面座標系の変換パラメータ（スクリーン−被投影面座標変換パラメータ）を推定するスクリーン−被投影面座標変換パラメータ推定部１００４と、投影指示点１０１ｂの撮像面座標を画像から抽出して、撮像面−スクリーン座標変換パラメータを用いてそのスクリーン座標を出力する投影指示点座標計測部１１１と、投影基準点のスクリーン座標値、投影光指示点１０１ｂのスクリーン座標値、撮像面−スクリーン面変換パラメータ、スクリーン−被投影面変換パラメータを記憶するメモリ１１２と、投影モードにおいて利用者などの外部からの入力に応じて投影する画像を選択する投影画像選択部１１４と、メモリ１１２に蓄積された投影光の輪郭四角形４頂点座標及び投影指示点座標から投影面１０１上に投影が想定される画像（スクリーン座標系で表現）を生成する想定投影画像生成部１１５と、利用者などの外部から選択された画像を蓄積する投影画像蓄積部１１６と、スクリーン座標系で表現された想定投影画像をメモリ１１２に蓄積されたスクリーン−被投影面座標変換パラメータによって被投影面座標系で表現した投影画像に変換して出力するスクリーン−被投影面座標変換部１１７と、を備えている。
【００８２】
本実施の形態では、スクリーン−被投影面座標変換パラメータの推定精度を向上するために、投影基準画像を投影し、その４点以上の投影基準点の座標値を用いることによって、最小２乗法での推定精度を向上させる。
【００８３】
図１１は、４点以上の投影基準点１１０２を有する投影基準画像１１０１を投影面２０９上に投影した図である。
【００８４】
以下、本実施の形態による画像投影装置の動作について説明する。
【００８５】
図１２は、本実施の形態による画像投影装置の動作を示すフローチャートである。ここで、図１２において、図３と同一の処理を行うステップについては同一のステップ番号を付している。
【００８６】
最初に、キャリブレーション処理（ステップ３０１〜ステップ３１１）における動作について説明する。まず、モード入力部１０３において利用者の入力によりキャリブレーションモードが設定される（ステップ３０１）と、切替スイッチ１００１が作動し、投影部１１３は、投影基準画像生成部１００２で生成された投影基準画像１１０１（図１１）を投影する（ステップ１２０１）。
【００８７】
次に、撮像部１０２が投影基準画像１１０１を全て含むように撮影を行う（ステップ３０３）。
【００８８】
次に、撮影した画像をスイッチ１０４からＡ／Ｄ変換部１０５に入力し、Ａ／Ｄ変換部１０５でＡ／Ｄ変換した後、ディジタル画像として画像メモリ１０６に格納する。
【００８９】
次に、計測点抽出部１０７において、計測点の撮像面座標（ｘc，ｙc）を抽出（ステップ３０４）し、全ての計測点２１１について抽出が完了するまでステップ３０４の処理を繰り返す（ステップ３０５）。
【００９０】
次に、撮像面−スクリーン座標変換パラメータ推定部１０８において、撮像面座標とスクリーン座標間の変換パラメータを推定（ステップ３０６）し、メモリ１１２に格納する。
【００９１】
次に、投影基準点座標抽出部１００３において、撮像された全ての投影基準点１１０２を画像処理により抽出し、その撮像面座標（ｘc2，ｙc2）を求める。そして、それらの撮像面座標（ｘc2，ｙc2）を撮像面−スクリーン座標変換パラメータによってスクリーン座標（Ｘw2，Ｙw2，０）に変換して（ステップ１２０２）、メモリ１１２に格納し、かつスクリーン−被投影面座標変換パラメータ推定部１００４へ出力する。そして、全ての投影基準点１１０２についての処理が終了するまでステップ１２０２の処理を繰り返す（ステップ１２０３）。なお、計測点２１１、投影指示点２０８、投影基準点１１０２の識別は、それぞれの点の色や形状などを変えることによって行うとよい。
【００９２】
次に、スクリーン−被投影面座標変換パラメータ推定部１００４において、スクリーン座標系と被投影面座標系間の変換パラメータを投影基準点１０２を用いて推定し（ステップ１２０４）、メモリ１１２に格納する。上述の＜式５＞におけるＸw2とＹw2の値は、投影基準点抽出部１００３で得られており、また＜式５＞におけるｘp2とｙp2の値は、投影部１１３の液晶パネル上における被投影面座標であるため、液晶パネルサイズと投影基準画像の比がわかっていれば容易に求めることができる。よって、投影基準点１１０２が４点以上あれば、変換パラメータ（＜式６＞におけるＭ）は、最小２乗法によって推定することができる。
【００９３】
次に、投影指示点座標計測部１１１において、ディジタル画像より投影指示点２０８を画像処理によって抽出し、その撮像面座標（ｘc3，ｙc3）を求め、メモリ１１２に格納されている撮像面−スクリーン座標変換パラメータを用いて（ｘc3，ｙc3）をスクリーン座標（Ｘw3，Ｙw3，０）に変換し（ステップ３１０）、メモリ１１２に格納する。
【００９４】
ここで、複数の投影指示点２０８がある場合には、ステップ３１０の処理を繰り返す（ステップ３１１）。この複数の投影指示点２０８の配置によって、投影位置やその投影の縦横比などを指定することもできる。
【００９５】
以上のステップ３１０〜３１１の処理がキャリブレーション処理となる。次に、投影処理について説明する。
【００９６】
モード入力部１０３において、利用者などの外部からの入力により投影モードが設定される（ステップ３１２)と、モード入力部１０３からの投影モードを示す出力信号をうけた切替スイッチ３０１は、スクリーン−被投影面座標変換部１１７の出力を投影部１１３に入力するように作動する。そして、投影画像選択部１１４において投影画像が選択される（ステップ３１３）と、投影画像が投影部１１３によって投影される。
【００９７】
投影画像選択部１１４において、利用者などの外部から投影画像が選択される（ステップ３１３）と、想定投影画像生成部１１５では、投影画像蓄積部１１６から選択画像をロードして、投影面１０１上に投影される投影像と同一の想定投影画像を生成する（ステップ３１４）。
【００９８】
次に、スクリーン−被投影面座標変換部１１７では、図６に示すスクリーン座標系表現の想定投影画像をスクリーン−被投影面座標変換パラメータＭにより、被投影座標系表現にし、被投影画像を生成する（ステップ３１５）。
【００９９】
そして、この被投影画像を投影部１１３で投影する（ステップ３１６）と、想定投影画像と同一の形状かつ位置決めされた歪みのない投影画像が投影面１０１上に形成される。
【０１００】
次に、利用者などの外部から投影終了が選択される（ステップ３１７）まで、ステップ３１３〜ステップ３１６の処理が繰り返される。
【０１０１】
なお、本実施の形態では、投影画像蓄積部１１６に蓄積され、利用者により選択された投影画像（選択画像）を歪み無く投影する装置を例に説明しているが、投影画像は外部より入力されるディジタル画像でもよい。これにより、Ａ／Ｄコンバータなどを用いればアナログ信号として存在するテレビジョン信号などについても歪みの無い投影が可能となる。
【０１０２】
以上のように、本実施の形態によれば、キャリブレーション処理用の撮像部１０２及びキャリブレーション処理の実行部を備えることにより、投影位置の指定精度が大幅に向上し、投影歪み補正の精度を大幅に向上することができる。
【０１０３】
また、利用者による座標読み取りなどの計測手続きが必要ないため、簡易に位置決め投影ができ、位置決め及び歪み補正の精度を大幅に向上することができる。
【０１０４】
＜実施の形態３＞
以下本発明の第３の実施の形態について、図面を参照しながら説明する。
【０１０５】
図１３は、本発明の画像投影装置の構成の一例を示す図である。なお、図１３において、図１と同様の構成については同一の符号を付している。図１３に示した画像投影装置は、投影位置と投影領域を指定する長方形の投影矩形面１３０１が投影されている投影面１０１を撮影するＣＣＤカメラなどの撮像部１０２と、利用者などの外部からキャリブレーションモードや投影モードなどのモード指示を受けるモード入力部１０３と、モード入力部１０３でキャリブレーションモードが指定された時に撮像部１０２で撮影されたアナログ画像情報を出力するスイッチ１０４と、画像情報のアナログ／ディジタル（Ａ／Ｄ）変換を行うＡ／Ｄ変換部１０５と、Ａ／Ｄ変換されたディジタル画像を蓄積する画像メモリ１０６と、投影矩形面１３０１の４つの頂点をディジタル画像から抽出し、その撮像面座標を出力する投影矩形面頂点抽出部１３０２と、抽出された投影矩形面１３０１の４つの頂点とその頂点の投影面１０１上におけるスクリーン座標から両座標系間の変換パラメータ（撮像面−スクリーン座標変換パラメータ）を推定する撮像面−スクリーン座標変換パラメータ推定部１３０３と、投影矩形面１３０１の４つの頂点の撮像面座標を抽出して、撮像面−スクリーン座標変換パラメータによってそれら撮像面座標をスクリーン座標に変換して出力する投影光頂点抽出部１０９と、投影光頂点抽出部１０９で抽出された４頂点のスクリーン座標、撮像面−スクリーン座標変換パラメータ及びこの４頂点に対応する被投影面座標からスクリーン座標系と被投影面座標系の変換パラメータ（スクリーン−被投影面座標変換パラメータ）を推定するスクリーン−被投影面座標変換パラメータ推定部１１０と、投影矩形面１３０１の撮像面座標と撮像面−スクリーン座標変換パラメータを用いてスクリーン座標から投影指示点座標を計測する投影指示点座標計測部１３０４と、投影矩形面１３０１の４頂点のスクリーン座標値、投影矩形面１３０１のスクリーン座標値、撮像面−スクリーン面変換パラメータ、スクリーン−被投影面変換パラメータを記憶するメモリ１１２と、利用者などの外部から指定され選択された画像を投影する投影部１１３と、投影モードにおいて利用者などの外部からの入力に応じて投影する画像を選択する投影画像選択部１１４と、メモリ１１２に蓄積された投影矩形面１３０１の４頂点座標から投影面１０１上に投影が想定される画像（スクリーン座標系で表現）を生成する想定投影画像生成部１１５と、利用者などの外部から選択された画像を蓄積する投影画像蓄積部１１６と、スクリーン座標系で表現された想定投影画像をメモリ１１２に蓄積されたスクリーン−被投影面座標変換パラメータによって被投影面座標系で表現した投影画像に変換して出力するスクリーン−被投影面座標変換部１１７と、を備えている。
【０１０６】
上述の画像投影装置においては、投影面１０１上に配置した全ての頂点（４頂点）の相対的な位置関係が既知である投影矩形面１３０１（例えば、Ａ３サイズやＢ３サイズなどの所定サイズの用紙など）の上に完全に重なるか、もしくはその矩形内に縦横比を保った状態で選択画像を投影することによって、投影矩形面１３０１の４頂点を上述の第１の実施の形態における計測点および投影指示点として扱い、キャリブレーション処理及び投影処理を行う。
【０１０７】
以下、本実施の形態における画像投影装置の動作について説明する。
【０１０８】
図１４は、本実施の形態による画像投影装置の動作を示すフローチャートである。ここで、図１４において、図３と同一の処理を行うステップについては同一のステップ番号を付している。
【０１０９】
最初に、キャリブレーション処理（ステップ３０１〜ステップ１４０４）における動作について説明する。まず、モード入力部１０３において利用者などの外部からの入力によりキャリブレーションモードが設定される（ステップ３０１）と、投影部１１３が投光された状態（ステップ３０２）で撮像部１０２が投光領域全てを含むように撮影を行う（ステップ３０３）。
【０１１０】
次に、撮影による画像は、スイッチ１０４からＡ／Ｄ変換部１０５に入力され、Ａ／Ｄ変換部１０５でＡ／Ｄ変換されて画像メモリ１０６に格納される。
【０１１１】
図１５は、投影面２０９に撮影された画像の例を示す図である。図１５において、投影面２０９及び投影矩形面１３０１上に投影光２１０が投影されている。以降この図１５を用いて本実施の形態による画像投影装置の動作について説明する。
【０１１２】
次に、投影矩形面抽出部１３０２において、図１５に示す画像から投影矩形面１３０１の頂点を画像処理により抽出して、その撮像面座標（ｘc，ｙc）をメモリ１１２に格納し、撮像面−スクリーン座標変換パラメータ推定部１３０３に出力する（ステップ１４０１）。そして、４つの頂点全てについて抽出を完了したかチェックし（ステップ１４０２）、完了していなければステップ１４０１の処理を繰り返す。４頂点の撮像面座標（ｘc，ｙc）は、例えば、投影矩形面１３０１の輪郭四角形の各辺の直線方程式をＨｏｕｇｈ変換などで求め、その４直線の交点を求めることで得ることができる。
【０１１３】
次に、撮像面−スクリーン座標変換パラメータ推定部１０８において、撮像面座標とスクリーン座標間の変換パラメータ（撮像面−スクリーン座標変換パラメータ）を投影矩形面１３０１の４頂点より推定し（ステップ１４０３）、この撮像面−スクリーン座標変換パラメータをメモリ１１２に格納する。このようにして、上述した＜式４＞に示す変換パラメータ行列Ｌを推定することができる。
【０１１４】
次に、投影光頂点抽出部１０９において、投影光２１０の４頂点の全てのスクリーン座標を算出し（ステップ３０７及びステップ３０８）、メモリ１１２に格納する。
【０１１５】
次に、スクリーン−被投影面座標変換パラメータ推定部１１０において、スクリーン座標系と被投影面間の変換パラメータを投影光２１０の４頂点を用いて推定し（ステップ３０９）、メモリ１１２に格納する。
【０１１６】
次に、投影指示点座標計測１３０４において、ステップ１４０１で得られメモリ１１２に格納されている投影矩形面１３０１の４頂点の座標（ｘc2，ｙc2）を同じくメモリ１１２に格納されている撮像面−スクリーン座標変換パラメータを用いてスクリーン座標（Ｘw3，Ｙw3，０）に変換し（ステップ１４０４）、これを投影指示点としてメモリ１１２に格納する。以上がキャリブレーション処理となる。
【０１１７】
以下、投影処理（ステップ３１２〜ステップ３１７）に関しては、上述のステップ１４０４で得られた投影矩形面１３０１の４頂点を投影指示点として扱うことで、図３に示した処理と同様の処理を行うことができる。
【０１１８】
モード入力部１０３において、利用者などの外部からの入力により投影モードが設定され（ステップ３１２)、投影画像選択部１１４において投影画像が選択される（ステップ３１３）と、変換処理を経て投影画像が投影部１１３によって投影される。
【０１１９】
また、投影画像選択部１１４において、利用者などの外部から投影画像が選択される（ステップ３１３）と、想定投影画像生成部１１５では、投影画像蓄積部１１６から選択画像をロードして、投影面１０１上に投影される投影像と同一の想定投影画像を生成する（ステップ３１４）。
【０１２０】
次に、スクリーン−被投影面座標変換部１１７では、図６に示すスクリーン座標系表現の想定投影画像をスクリーン−被投影面座標変換パラメータＭにより、被投影座標系表現にし、被投影画像を生成する（ステップ３１５）。
【０１２１】
そして、この被投影画像を投影部１１３で投影する（ステップ３１６）と、想定投影画像と同一の形状かつ位置決めされた歪みのない投影画像が投影面１０１上に形成される。
【０１２２】
次に、利用者などの外部から投影終了が選択される（ステップ３１７）まで、ステップ３１３〜ステップ３１６の処理が繰り返される。
【０１２３】
なお、本実施の形態では、投影画像蓄積部１１６に蓄積され、利用者により選択された投影画像（選択画像）を歪み無く投影する装置を例に説明しているが、投影画像は外部より入力されるディジタル画像でもよい。これにより、Ａ／Ｄコンバータなどを用いればアナログ信号として存在するテレビジョン信号などについても歪みの無い投影が可能となる。
【０１２４】
以上、本実施の形態においては、投影矩形面１３０１の４頂点を実施の形態１における計測点２１１かつ投影指示点２０８として処理したが、投影矩形面１３０１を利用せずに、計測点２１１と投影指示点２０８を兼ねる４点を投影面上に配置してもよい。
【０１２５】
以上、本実施の形態によれば、キャリブレーション処理用の撮像部１０２及びキャリブレーション処理の実行部を備えるため、投影面１０１上の特定矩形領域上に歪みなく選択画像を投影することができる。
【０１２６】
また、利用者などによる座標読み取りなどの計測手続きが必要ないため、簡易に位置決め投影ができ、位置決め及び歪み補正の精度を大幅に向上することができる。
【０１２７】
＜実施の形態４＞
以下本発明の第４の実施例について、図面を参照しながら説明する。
【０１２８】
図１６は、本発明の画像投影装置の構成の一例を示す図である。なお、図１６において、図１と同様の構成については同一の符号を付している。図１６に示した画像投影装置は、投影面１０１を撮影するＣＣＤカメラなどの撮像部１０２と、利用者などの外部からキャリブレーションモードや投影モードなどのモード指示を受けるモード入力部１０３と、モード入力部１０３でキャリブレーションモードが指定された時に撮像部１０２で撮影されたアナログ画像情報を出力するスイッチ１０４と、画像情報のアナログ／ディジタル（Ａ／Ｄ）変換を行うＡ／Ｄ変換部１０５と、Ａ／Ｄ変換されたディジタル画像を蓄積する画像メモリ１０６と、計測点１０１ａを画像から抽出し、その撮像面座標を出力する計測点抽出部１０７と、抽出された複数の計測点１０１ａの撮像面座標と計測点１０１ａの投影面１０１上におけるスクリーン座標から両座標系間の変換パラメータ（撮像面−スクリーン座標変換パラメータ）を推定する撮像面−スクリーン座標変換パラメータ推定部１０８と、投影部１１３から投影される投影光の輪郭四角形の４つの頂点の撮像面座標を抽出して、撮像面−スクリーン座標変換パラメータによってそれら撮像面座標をスクリーン座標に変換して出力する投影光頂点抽出部１０９と、投影光頂点抽出部１０９で抽出された４頂点のスクリーン座標、撮像面−スクリーン座標変換パラメータ及びこの４頂点に対応する被投影面座標からスクリーン座標系と被投影面座標系の変換パラメータ（スクリーン−被投影面座標変換パラメータ）を推定するスクリーン−被投影面座標変換パラメータ推定部１１０と、投影指示点１０１ｂの撮像面座標を画像から抽出して、撮像面−スクリーン座標変換パラメータを用いてそのスクリーン座標を出力する投影指示点座標計測部１１１と、投影光の輪郭四角形４頂点のスクリーン座標値、投影光指示点１０１ｂのスクリーン座標値、撮像面−スクリーン面変換パラメータ、スクリーン−被投影面変換パラメータを記憶するメモリ１１２と、利用者などの外部から指定され選択された画像を投影する投影部１１３と、投影モードにおいて利用者などの外部からの入力に応じて投影する画像を選択する投影画像選択部１１４と、メモリ１１２に蓄積された投影光の輪郭四角形４頂点座標及び投影指示点座標から投影面１０１上に投影が想定される画像（スクリーン座標系で表現）を生成する想定投影画像生成部１１５と、利用者などの外部から選択された画像を蓄積する投影画像蓄積部１１６と、想定投影画像生成部１１５から出力される想定投影画像において利用者などの外部から選択された選択画像の存在しない周辺部の色を光を透過させない色、例えば、黒色など、に変換する周辺色変換部１６０１と、周辺色変換部１６０１で処理されたスクリーン座標系表現の想定投影画像をメモリ１１２に蓄積されたスクリーン−被投影面座標変換パラメータによって被投影面座標系で表現した投影画像に変換して出力するスクリーン−被投影面座標変換部１１７と、を備えている。
【０１２９】
本実施に形態においては、投影すべき選択画像に無関係な周辺光部分のない、位置合せされた歪みのない投影を行うために、想定投影画像において選択画像の存在しない周辺部の色を黒色などの光を透過させない色に変換する投影処理を行う。
【０１３０】
以下、本実施の形態における画像投影装置の動作について説明する。
【０１３１】
図１７は、本実施の形態による画像投影装置の動作を示すフローチャートである。ここで、図１７において、図３と同一の処理を行うステップについては同一のステップ番号を付している。
【０１３２】
ここで、キャリブレーション処理（ステップ３０１〜ステップ３１１）の動作については、上述の実施の形態１（図３）と全く同じ動作とすることができる。すなわち、まず、モード入力部１０３において利用者などの外部からの入力によってキャリブレーションモードが設定される（ステップ３０１）と、投影部１１３が投光された状態（ステップ３０２）で撮像部１０２が投光領域を全て含むように撮影を行う（ステップ３０３）。
【０１３３】
モード入力部１０３がスイッチ１０４をＯＮ状態にするため、撮像部１０２で撮影された画像はＡ／Ｄ変換部１０５に入力され、Ａ／Ｄ変換されてディジタル画像として画像メモリ１０６に格納される。
【０１３４】
次に、計測点抽出部１０７において、画像メモリ１０６に格納されているディジタル画像から投影面１０１上の計測点２１１を画像処理によって抽出し、その撮像面座標（ｘc，ｙc）を出力する(ステップ３０４)。
【０１３５】
全ての計測点２１１について全ての抽出を完了したかチェック（ステップ２０６）し、完了していなければステップ３０４の処理を繰り返す。
【０１３６】
次に、撮像面−スクリーン座標変換パラメータ推定部１０８において、撮像面座標とスクリーン座標間の変換パラメータ（撮像面−スクリーン座標変換パラメータ）を計測点２１１から推定し（ステップ３０６）、この撮像面−スクリーン座標変換パラメータをメモリ１１２に格納する。
【０１３７】
次に、投影光頂点抽出部１０９において、ディジタル画像より投影光２１０の輪郭四角形の４頂点を画像処理によって抽出し、その撮像面座標（ｘc2，ｙc2）を求め、それら撮像面座標を撮像面−スクリーン座標変換パラメータによってスクリーン座標（Ｘw2，Ｙw2，０）に変換する（ステップ３０７）。
【０１３８】
このスクリーン座標（Ｘw2，Ｙw2，０）をメモリ１１２に格納し、かつスクリーン−被投影面座標変換パラメータ推定部１１０に出力する。また、処理後の画像をメモリ１１２に出力する。そして、４つの頂点全ての処理が終了するまで（ステップ３０８）、ステップ３０７の処理を繰り返す。
【０１３９】
次に、スクリーン−被投影面座標変換パラメータ推定部１１０において、スクリーン座標系と被投影面座標系間の変換パラメータ（スクリーン−被投影面座標変換パラメータ）を４頂点を用いて推定し（ステップ３０９）、メモリ１１２に格納する。
【０１４０】
次に、投影指示点座標計測部１１１において、ディジタル画像より投影指示点２０８を画像処理によって抽出し、その撮像面座標（ｘc3，ｙc3）を求め、メモリ１１２に格納されている撮像面−スクリーン座標変換パラメータを用いて（ｘc3，ｙc3）をスクリーン座標（Ｘw3，Ｙw3，０）に変換し（ステップ３１０）、メモリ１１２に格納する。
【０１４１】
ここで、複数の投影指示点２０８がある場合には、ステップ３１０の処理を繰り返す（ステップ３１１）。この複数の投影指示点２０８の配置によって、投影位置やその投影の縦横比などを指定することもできる。
【０１４２】
以上のステップ３１０〜３１１の処理がキャリブレーション処理となる。次に、投影処理（ステップ３１２〜ステップ３１７）の動作について説明する。
【０１４３】
モード入力部１０３において利用者などの外部からの入力により投影モードが設定され（ステップ３１２）、投影画像選択部１１４において投影画像が選択される（ステップ３１３）と、変換処理を経て投影画像が投影される。
【０１４４】
図１８は、投影画像を投影面に投影した様子を示す図である。図１８に示すように、投影光（投影画像）２１０が投影指示点２０８を左上頂点として歪みなく投影される。図１８において、選択画像５０１の周辺部は、上述の図５に示した場合とは異なり、光が透過せず投影面２０９上では投影光２１０の当たっていない部分と同じ色になる。
【０１４５】
このように、投影画像選択部１１４において利用者などの外部から投影画像が選択される（ステップ３１３）と、想定投影画像生成部１１５では、投影画像蓄積部１１６から選択画像をロードして、投影面１０１上に投影される投影像と同一の想定投影画像を生成する（ステップ３１４）。
【０１４６】
次に、周辺色変換部１６０１は、想定投影画像における選択画像５０１の存在しない部分の色を黒色などの光を透過させない色に変換する（ステップ１７０１）。
【０１４７】
スクリーン−被投影面座標変換部１１７では、スクリーン座標系表現の想定投影画像をスクリーン−被投影面座標変換パラメータＭにより、被投影座標系表現にし、被投影画像を生成する（ステップ３１５）。
【０１４８】
そして、この被投影画像を投影部１１３で投影する（ステップ３１６）と、想定投影画像と同一の形状かつ位置決めされた歪みのない投影画像が投影面１０１上に形成される。
【０１４９】
次に、利用者などの外部から投影終了が選択される（ステップ３１７）まで、ステップ３１３〜ステップ３１６の処理が繰り返される。
【０１５０】
なお、本実施の形態では、投影画像蓄積部１１６に蓄積され、利用者により選択された投影画像（選択画像）を歪み無く投影する装置を例に説明しているが、投影画像は外部より入力されるディジタル画像でもよい。これにより、Ａ／Ｄコンバータなどを用いればアナログ信号として存在するテレビジョン信号などについても歪みの無い投影が可能となる。
【０１５１】
また、本実施の形態では、周辺色変換部１６０１により想定投影画像において投影画像の存在しない周辺部の色を黒色などの光を透過しない色に変換する例を示しているが、周辺部の色はスクリーン色と同色の色やデザイン効果を狙った他の色でもよい。
【０１５２】
以上、本実施の形態について説明したが、本実施の形態は、上述した実施の形態１〜３の何れにも適用することができる。
【０１５３】
以上のように、本実施の形態によれば、投影光の領域のうち利用者などの外部から指定された画像の存在しない部分の色を、光の透過しない色に変換する周辺色変換部１６０１を備えることで、投影光部分の存在しない無駄な領域を整形し、位置決めして歪みを補正した投影をすることができる。
【０１５４】
また、利用者などの座標読み取りなどの計測手続きが必要ないため、簡易に位置決めして投影することができ、位置決め及び歪み補正の精度を大幅に向上させることができる。
【０１５５】
＜実施の形態５＞
以下本発明の第５の実施例について、図面を参照しながら説明する。
【０１５６】
図１９は、本発明の画像投影装置の実施の形態の一例を示す図である。なお、図１９において、図１と同様の構成については同一の符号を付している。図１９に示した画像投影装置は、投影面１０１を撮影するＣＣＤカメラなどの撮像部１０２と、利用者などの外部からキャリブレーションモードや投影モードなどのモード指示を受けるモード入力部１０３と、モード入力部１０３でキャリブレーションモードが指定された時に撮像部１０２で撮影されたアナログ画像情報を出力するスイッチ１０４と、画像情報のアナログ／ディジタル（Ａ／Ｄ）変換を行うＡ／Ｄ変換部１０５と、Ａ／Ｄ変換されたディジタル画像を蓄積する画像メモリ１０６と、計測点１０１ａを画像から抽出し、その撮像面座標を出力する計測点抽出部１０７と、抽出された複数の計測点１０１ａの撮像面座標と計測点１０１ａの投影面１０１上におけるスクリーン座標から両座標系間の変換パラメータ（撮像面−スクリーン座標変換パラメータ）を推定する撮像面−スクリーン座標変換パラメータ推定部１０８と、投影部１１３から投影される投影光の輪郭四角形の４つの頂点の撮像面座標を抽出して、撮像面−スクリーン座標変換パラメータによってそれら撮像面座標をスクリーン座標に変換して出力する投影光頂点抽出部１０９と、投影光頂点抽出部１０９で抽出された４頂点のスクリーン座標、撮像面−スクリーン座標変換パラメータ及びこの４頂点に対応する被投影面座標からスクリーン座標系と被投影面座標系の変換パラメータ（スクリーン−被投影面座標変換パラメータ）を推定するスクリーン−被投影面座標変換パラメータ推定部１１０と、投影指示点１０１ｂの撮像面座標を画像から抽出して、撮像面−スクリーン座標変換パラメータを用いてそのスクリーン座標を出力する投影指示点座標計測部１１１と、投影光の輪郭四角形４頂点のスクリーン座標値、投影光指示点１０１ｂのスクリーン座標値、撮像面−スクリーン面変換パラメータ、スクリーン−被投影面変換パラメータを記憶するメモリ１１２と、利用者などの外部から指定され選択された画像を投影する投影部１１３と、投影モードにおいて利用者などの外部からの入力に応じて投影する画像を選択する投影画像選択部１１４と、メモリ１１２に蓄積された投影光の輪郭四角形４頂点座標及び投影指示点座標から投影面１０１上に投影が想定される画像（スクリーン座標系で表現）を生成する想定投影画像生成部１１５と、利用者などの外部から選択された画像を蓄積する投影画像蓄積部１１６と、スクリーン座標系で表現された想定投影画像をメモリ１１２に蓄積されたスクリーン−被投影面座標変換パラメータによって被投影面座標系で表現した投影画像に変換して出力するスクリーン−被投影面座標変換部１１７と、撮像部１０２と投影部１１３のそれぞれの光軸を同一にするハーフミラー部１９０１と、を備えている。
【０１５７】
本実施に形態においては、撮像部１０２と投影部１１３の光軸を同一にすることによって、投影面１０１がどの位置に配置されても、撮像部１０２の撮像領域を変更する必要がない。
【０１５８】
なお、本実施の形態における画像投影装置の動作は、上述した実施の形態１の図３に示した動作と同一である。
【０１５９】
なお、本実施の形態では、投影画像蓄積部１１６に蓄積され、利用者により選択された投影画像（選択画像）を歪み無く投影する装置を例に説明しているが、投影画像は外部より入力されるディジタル画像でもよい。これにより、Ａ／Ｄコンバータなどを用いればアナログ信号として存在するテレビジョン信号などについても歪みの無い投影が可能となる。
【０１６０】
以上のように、本実施の形態によれば、ハーフミラー部１９０１を設けることによって、投影光軸と撮像光軸を一致させることができ、投影面１０１の配置位置に応じて撮像領域を変更する必要がない。このため、撮像部１０２のパン、チルト、及びズーム制御などの初期設定が不要となり、より利便性が向上した。
【０１６１】
【発明の効果】
以上のように、本発明の画像投影装置及び画像投影方法によれば、撮像部で投影光の撮影を行い、その撮影画像から投影面と投影部にある被投影面間の座標変換パラメータを推定するため、任意に設定した投影位置に歪みなく選択画像を投影することができるようになった。
【０１６２】
また、投影前に行われていた座標読み取りなどの計測手続きが必要ないため、簡易に位置決めして投影することができ、位置決め及び歪み補正の精度を大幅に向上することができるようになった。
【０１６３】
また、選択投影画像の周辺部の色を光の透過しない色に変換することによって、簡易に位置決め投影ができ、位置決め及び歪み補正の精度を向上させながら、無駄な投影光部のない整形された画像を投影することができるようになった。
【０１６４】
また、ハーフミラー部を設けて投影光軸と撮像光軸を一致させるため、投影面の配置位置に応じて撮像領域を変更する必要がなく、撮像部のパン、チルト及びズーム制御などの初期設定が不要となり、より利便性を向上することができるようになった。
【図面の簡単な説明】
【図１】本発明の画像投影装置の構成を示すブロック図である。
【図２】投影面、撮像部、投影部におけるそれぞれの座標系を示す図である。
【図３】本発明の画像投影装置の動作を示すフローチャートである。
【図４】キャリブレーションモードにおける撮像画像の一例を示す図である。
【図５】投影イメージの一例を示す図である。
【図６】想定投影画像の一例を示す図である。
【図７】２点の投影指示点を配置した場合の投影例を示す図である。
【図８】３点の投影指示点を配置した場合の投影例を示す図である。
【図９】４点の投影指示点を配置した場合の投影例を示す図である。
【図１０】本発明の画像投影装置の構成を示すブロック図である。
【図１１】キャリブレーションモードにおける撮像画像の一例を示す図である。
【図１２】本発明の画像投影装置の動作を示すフローチャートである。
【図１３】本発明の画像投影装置の構成を示すブロック図である。
【図１４】本発明の画像投影装置の動作を示すフローチャートである。
【図１５】キャリブレーションモードにおける撮像画像の一例を示す図である。
【図１６】本発明の画像投影装置の構成を示すブロック図である。
【図１７】本発明の画像投影装置の動作を示すフローチャートである。
【図１８】投影モードにおける投影の一例を示す図である。
【図１９】本発明の画像投影装置の構成を示すブロック図である。
【図２０】投影面と被投影面の位置関係とその投影歪みの一例を示す図である。
【図２１】従来の画像投影装置の構成を示すブロック図である。
【図２２】従来の画像投影装置の動作を示すフローチャートである。
【符号の説明】
１０１、２０９、２００１、２１０１ 投影面
１０１ａ、２１１ 計測点
１０１ｂ、２０８ 投影指示点
１０２ 撮像部
１０３ モード入力部
１０４ スイッチ
１０５ Ａ／Ｄ変換部
１０６ 画像メモリ
１０７ 計測点抽出部
１０８、１３０３ 撮像面−スクリーン座標変換パラメータ推定部
１０９ 投影光頂点抽出部
１１０、１００４ スクリーン−被投影面座標変換パラメータ推定部
１１１、１３０４ 投影指示点座標計測部
１１２ メモリ
１１３、２００５、２１０３ 投影部
１１４ 投影画像選択部
１１５ 想定投影画像生成部
１１６ 投影画像蓄積部
１１７ スクリーン−被投影面座標変換部
２０１ スクリーン座標系
２０２ プロジェクタ座標系
２０３ 被投影面座標系
２０４ カメラ座標系
２０５ 撮像面座標系
２０６ プロジェクタ焦点距離Ｆｐ
２０７ カメラ焦点距離
２１０ 投影光輪郭四角形
５０１ 選択画像
７０１、８０１ 線分
１００１ 切替スイッチ
１００２ 投影基準画像発生部
１００３ 投影基準点座標抽出部
１１０１ 投影基準画像
１１０２ 投影基準点
１３０１ 投影矩形面
１３０２ 投影矩形面頂点抽出点
１６０１ 周辺色変換部
１９０１ ハーフミラー部
２００２ 投影レンズ
２００３ 被投影面（液晶パネル）
２００４ 投影像
２１０２ コンピュータ装置[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image projection apparatus and an image projection method for enlarging and projecting an image such as a still image or a moving image. In particular, the present invention relates to an image projecting apparatus and an image projecting method that can project a projected image at the time of projection to a position designated by a user within a projectable range without any distortion.
[0002]
[Prior art]
In recent years, research and development on projection distortion correction in an image projection apparatus such as a liquid crystal projector that projects a moving image such as a still image or a video on a screen has been actively conducted.
[0003]
Generally, when projecting an image using an image projection apparatus such as a liquid crystal projector that projects the image, the projection axis of the projector is perpendicular to the projection plane such as a screen in order to project without distortion. Both need to be placed.
[0004]
FIG. 20 is a diagram illustrating a positional relationship between a projection plane such as a screen and a projector, and a projection image. FIG. 20A shows a case where the projection axis of the projector is perpendicular to the projection plane, and FIG. 20B shows a case where the projection axis of the projector is not perpendicular to the projection plane.
[0005]
20, the projector projects a projection unit 2005 that projects an image, a projection surface 2003 such as a liquid crystal panel that outputs an image projected by the projection unit 2005, and an image output to the projection surface 2003. A projection lens 2002 for projecting as a projection image 2004.
[0006]
As shown in FIG. 20A, when the projection axis of the projector is perpendicular to the projection plane 2001, the projection image 2004 displayed on the projection plane 2001 is not distorted. On the other hand, as shown in FIG. 20B, when the projection axis of the projector is not perpendicular to the projection plane 2001, the projection image 2004 displayed on the projection plane 2001 is distorted. As a method for correcting such distortion, an image projection is performed in which a parameter related to the distortion of the projection image 2004 on the projection plane 2001 is obtained, and an image to be projected is converted into a previously distorted image based on the parameter and projected. There is a way. Hereinafter, a conventional image projection apparatus and an image projection method will be described.
[0007]
FIG. 21 is a diagram showing an image projection apparatus using a conventional liquid crystal projector. In FIG. 21, this image projection apparatus calculates a distortion correction parameter, outputs a computer image obtained by distortion correction conversion using the parameter, and a projection unit such as a liquid crystal projector that projects a computer screen from the computer apparatus 2102. 2103. Here, the projection unit 2103 projects an image from the computer apparatus 2102 as a projection image 2004 onto a projection plane 2101 having a lattice pattern that defines screen coordinates for calibration.
[0008]
Next, the operation of the conventional image projection apparatus shown in FIG. 21 will be described.
[0009]
FIG. 22 is a flowchart showing the operation of the conventional image projection apparatus shown in FIG. In FIG. 22, first, when the calibration mode is set by the user's key operation (step 2201), the liquid crystal projector (projection unit) 2103 projects the reference image pattern from the computer apparatus 2102 onto the projection plane 2101 (see FIG. 22). Step 2202).
[0010]
The user reads the screen coordinate values P0 (Xsi, Ysi) (for example, i = 1 to 4) of the point for calibration of the projected reference image pattern image (step 2203). Then, the read screen coordinate value P0 (Xsi, Ysi) is input to the computer apparatus 2102 (step 2204).
[0011]
When all screen coordinate values P0 (Xsi, Ysi) have been input (step 2205), the computer apparatus 2102 calculates correction parameters from the input screen coordinate values P0 (Xsi, Ysi) (step 2206). Hereinafter, calculation of the correction parameters will be described.
[0012]
In general, the relationship between the screen coordinate value P0 (Xsi, Ysi) of a point on the projection surface 2101 and the point P1 (Xpi, Ypi) on the liquid crystal panel, which is the projection surface provided in the projection unit 2103, is as follows. <Formula 1> or <Formula 2>.

[0013]
Here, since the correspondence between S and P is known, V can be estimated by a least-squares method using a set of four or more corresponding points. The above is the calibration process.
[0014]
Next, using the correction parameter V obtained above, the image data for projection stored in advance is converted and stored without distortion (step 2207).
[0015]
The processing in step 2207 is repeated until the distortion correction conversion processing is completed for all stored images (step 2208). At this time, conversion for performing projection at an arbitrary position on the projection surface can be performed in the same manner as the conversion processing for eliminating distortion.
[0016]
Next, when the projection mode is set by the user's key operation (step 2209), the corrected image data is projected onto the projection plane 2101 by the liquid crystal projector (projection unit) 2103 (step 2210).
[0017]
[Problems to be solved by the invention]
However, according to the conventional image projection apparatus as shown in FIG. 21, the user measures the screen coordinates based on the lattice pattern on the projection surface 2101 during calibration. There was a problem that reading error occurred.
[0018]
In addition, when specifying the projection position, the user measures the screen coordinates for specifying the position with reference to the lattice pattern on the projection surface 2101. Therefore, the position specification is performed by the reading error of the screen coordinates. There was a problem that this error occurred.
[0019]
Therefore, the present invention solves the above-described problems, and the object thereof is to automatically measure screen coordinates and to reduce image conversion parameter calculation errors including projection distortion correction. An image projection apparatus and an image projection method are provided.
[0020]
[Means for Solving the Problems]
In order to solve the above-described problem, an image projection apparatus according to a first aspect of the present invention has a predetermined screen coordinate system, and includes measurement points defined by coordinate values of the screen coordinate system and coordinate values of the screen coordinate system. An image projection apparatus that projects an image onto a projection plane that is defined and has a projection instruction point that designates the projection position and shape of the projection image, and includes a liquid crystal panel having a predetermined projection plane coordinate system. Projection means for projecting an image, a measurement point on the projection plane, a projection instruction point, an imaging means for capturing an image projected on the projection plane as a captured image, and a captured image captured by the imaging section are stored. Conversion of screen coordinate system and projection plane coordinate system based on image memory, mode input means for outputting a mode selection signal of either calibration mode or projection mode, and measured measurement points and projection image Projection parameter estimating means for estimating parameters, projection instruction point coordinate measuring means for measuring projection instruction point coordinates from the coordinate value of the projection instruction point, memory for storing conversion parameters and projection instruction point coordinates, and memory stored in the memory An assumed projection image is generated based on an assumed projection image generation unit that generates an assumed projection image expressed in screen coordinates by arranging a projection image at a projection position specified by the projection instruction point coordinates, and a conversion parameter stored in the memory. Screen-projection surface coordinate conversion means for converting an image into an image having a coordinate value of a projection surface coordinate system.
[0021]
In order to solve the above-described problem, an image projection apparatus according to the second aspect of the present invention has a predetermined screen coordinate system, a measurement point defined by coordinate values of the screen coordinate system, and coordinates of the screen coordinate system. An image projection apparatus that projects an image on a projection surface that is defined by a value and has a projection instruction point that designates the projection position and shape of the projection image, and includes a liquid crystal panel having a predetermined projection surface coordinate system, A projection unit that projects an image onto a plane, a measurement point on the projection plane, a projection instruction point, an imaging unit that captures an image projected on the projection plane as a captured image, and a captured image captured by the imaging unit. An image memory to be stored, a mode input means for outputting a mode selection signal for either calibration mode or projection mode, a screen coordinate system and a projection surface coordinate system based on the captured measurement points and the projected image Projection parameter estimation means for estimating a conversion parameter, projection instruction point coordinate measurement means for measuring a projection instruction point coordinate from the coordinate value of the projection instruction point, a memory for storing the conversion parameter and the projection instruction point coordinate, and a projected image Is selected by the projection image selection means at the projection position specified by the projection instruction point coordinates stored in the memory. The projected image is arranged on the basis of the projected projection image generation means for generating the projected projection image expressed by the screen coordinates and the conversion parameter stored in the memory. And a screen-projection plane coordinate conversion means for converting into an image having
[0022]
In order to solve the above-described problem, an image projection apparatus according to a third aspect of the present invention has a predetermined screen coordinate system, a measurement point defined by coordinate values in the screen coordinate system, and coordinates in the screen coordinate system. An image projection apparatus that projects an image on a projection surface that is defined by a value and has a projection instruction point that designates the projection position and shape of the projection image, and includes a liquid crystal panel having a predetermined projection surface coordinate system, A projection unit that projects an image onto a plane, a measurement point on the projection plane, a projection instruction point, an imaging unit that captures an image projected on the projection plane as a captured image, and a captured image captured by the imaging unit. An image memory to be stored, a mode input means for outputting a mode selection signal for either calibration mode or projection mode, a screen coordinate system and a projection surface coordinate system based on the captured measurement points and the projected image Projection parameter estimation means for estimating a conversion parameter, projection instruction point coordinate measurement means for measuring a projection instruction point coordinate from the coordinate value of the projection instruction point, a memory for storing the conversion parameter and the projection instruction point coordinate, and a projected image The projection image storage means for storing the projection image, the projection image selection means for selecting an arbitrary projection image from the projection image storage means, and the projection image selection means for selecting the projection position specified by the projection instruction point coordinates stored in the memory An assumed projection image is generated on the basis of an assumed projection image generating means for generating an assumed projection image represented by screen coordinates by arranging a projected image inputted from the outside or a projection image inputted from the outside, and a conversion parameter stored in a memory And a screen-projection surface coordinate conversion means for converting the image into an image having a coordinate value of the projection surface coordinate system.
[0023]
Here, when the calibration mode is output from the mode input unit, the projection parameter estimation unit is a switch unit that inputs a captured image captured by the imaging unit, and an analog / digital conversion of the captured image input from the switch A / D conversion means for measuring, a measurement point extracting means for extracting the coordinate value of the measurement point in the imaging plane coordinate system defined by the imaging means from the captured image stored in the image memory, and the measurement point in the imaging plane coordinate system An imaging surface-screen coordinate conversion parameter estimation unit that estimates an imaging surface-screen coordinate conversion parameter from the coordinate value and a coordinate value in the screen coordinate system, and projection light projected by the projection unit from the captured image stored in the image memory The coordinate values of the four vertices in the imaging plane coordinate system are extracted and the imaging plane-screen coordinates stored in the memory. Projection light vertex coordinate extraction means for converting the coordinate values in the imaging plane coordinate system of the four vertices of the projection light into coordinate values of the screen coordinate system based on the conversion parameters, and the screen coordinates of the four vertices of the projection light A screen-projection surface coordinate conversion parameter means for estimating a screen-projection surface coordinate conversion parameter as a conversion parameter based on the coordinate value of the system and the coordinate value of the projection surface coordinate system of the projection image. May be.
[0024]
In order to solve the above problem, an image projection method according to a first aspect of the present invention is an image projection method for projecting an image onto a projection surface, and projects light onto a projection surface provided with a projection instruction point and a measurement point. Then, the image is shot so as to include the entire projection area of the projection plane, the captured image is A / D converted to generate a digital image, and the imaging plane coordinates of the measurement point on the projection plane are extracted from the digital image and measured. Based on the imaging surface coordinates of the points, an imaging surface-screen coordinate conversion parameter, which is a conversion parameter between the imaging surface coordinates and the screen coordinates, is estimated, and the four vertices of the projection area are extracted from the digital image, and the four vertices are extracted. The image plane coordinates of the four projection points in the light projection area are converted into screen coordinates using the image plane-screen coordinate conversion parameter, and the screen coordinate system and the projection plane coordinates are calculated based on the screen coordinates. The screen-to-projection surface coordinate conversion parameter, which is a conversion parameter between them, is estimated, the imaging surface coordinates of the projection instruction point are extracted from the digital image, and the imaging surface coordinates of the projection instruction point are extracted using the imaging surface-screen coordinate conversion parameter Converting to screen coordinates, loading the projection image, generating an assumed projection image having coordinate values in the screen coordinate system, and converting the coordinate values in the screen coordinate system of the assumed projection image into the subject by the screen-projection plane coordinate conversion parameter. By converting the coordinate value of the projection coordinate system to generate a projection image and projecting the projection image, a projected image having the same shape and positioning as the assumed projection image is formed on the projection plane. It is characterized by that.
[0025]
This enables automatic measurement of screen coordinates, and suppresses errors in image conversion parameter calculation including distortion correction.
[0026]
In order to solve the above-described problem, the image projection apparatus according to the fourth aspect of the present invention is further connected to a projection reference image generation unit that generates a reference image projected from the projection unit, and to the previous projection unit, and is Switching means for switching between the reference image and the projection image according to the output mode of the input unit is provided.
[0027]
At this time, when the calibration mode is output from the mode input means, the projection parameter estimation means includes switch means for inputting a captured image captured by the imaging means, and analog / digital conversion of the captured image input from the switch. A / D conversion means for measuring, a measurement point extracting means for extracting the coordinate value of the measurement point in the imaging plane coordinate system defined by the imaging means from the captured image stored in the image memory, and the measurement point in the imaging plane coordinate system The imaging surface-screen coordinate conversion parameter estimation means for estimating the imaging surface-screen coordinate conversion parameter from the coordinate value and the coordinate value in the screen coordinate system, and the coordinate value of the projection reference point in the imaging surface coordinate system are extracted from the projection reference image. The projection reference in the imaging plane coordinate system by the imaging plane-screen coordinate conversion parameter stored in the memory Projection reference point coordinate extraction means for converting the coordinate value of the image into a coordinate value of the projection reference point in the screen coordinate system, and outputting the coordinate value of the projection reference point in the screen coordinate system and the coordinate value of the projection surface coordinate system of the projection image And screen-projection surface coordinate conversion parameter means for estimating a screen-projection surface coordinate conversion parameter as a conversion parameter.
[0028]
In order to solve the above problem, an image projection method according to a second aspect of the present invention is an image projection method for projecting an image onto a projection plane, and a projection reference image having a plurality of projection reference points is projected onto the projection plane. Project the image so that it includes all the projection reference images on the projection plane, A / D convert the captured projection reference image to generate a digital image, and extract the imaging plane coordinates of the measurement points on the projection plane from the digital image Then, based on the imaging surface coordinates of the measurement points, the imaging surface-screen coordinate conversion parameter, which is a conversion parameter between the imaging surface coordinates and the screen coordinates, is estimated, and a plurality of projection reference points are extracted from the digital image, and all projections are performed. The imaging plane coordinates of the reference point are obtained, the imaging plane coordinates of all the projection reference points are converted into screen coordinates by the imaging plane-screen coordinate conversion parameter, Screen, which is a conversion parameter between the system and the projection surface coordinate system, the projection surface coordinate conversion parameter is estimated, the imaging surface coordinates of the projection instruction point are extracted from the digital image, and the imaging surface coordinates of the projection instruction point are extracted from the imaging surface Convert to screen coordinates using screen coordinate conversion parameters, load projection image, generate assumed projection image having coordinate value of screen coordinate system, and convert screen coordinate system coordinate value of projected projection image to screen-projected A projected image that has the same shape as the assumed projected image and is positioned by projecting the projected image by converting the coordinate value of the projected coordinate system into the coordinate value of the projected coordinate system according to the surface coordinate conversion parameter. Is formed on the projection surface.
[0029]
A projection reference image is generated, and a conversion parameter between the projection plane coordinate system and the projection unit coordinate system is estimated using the measurement point and the projection reference image, thereby further reducing an error in calculating the image conversion parameter.
[0030]
In order to solve the above-described problem, in the image projection apparatus according to the fifth aspect of the present invention, a planar rectangular image in which each vertex has a predetermined coordinate value in the screen coordinate system is arranged on the projection surface, and projection parameter estimation is performed. A means is a projection rectangular surface vertex coordinate extraction means for extracting a coordinate value in the imaging surface coordinate system of each vertex of the planar rectangular image from the captured image stored in the image memory, and an imaging surface coordinate system of each vertex of the planar rectangular image. An imaging plane / screen coordinate conversion parameter estimation unit that estimates an imaging plane-screen coordinate conversion parameter as a conversion parameter based on a coordinate value obtained by the above and a predetermined coordinate value in the screen coordinate system. Measures the projection instruction point coordinates using each vertex of the captured planar rectangular image as the projection instruction point, and the projecting means projects the projection image onto the planar rectangular image. It is characterized in.
[0031]
In order to solve the above problem, an image projection method according to a third aspect of the present invention is an image projection method for projecting an image onto a projection surface, and the projection is performed on a projection surface provided with a projection instruction point and a projection rectangular surface. The digital image is generated by A / D conversion of the captured image, and the four vertices of the projection rectangular plane on the projection plane are captured from the digital image. The coordinates are extracted, and the imaging plane-screen coordinate conversion parameter, which is a conversion parameter between the imaging plane coordinates and the screen coordinates, is estimated based on the imaging plane coordinates of the four vertices of the projection rectangular plane. The four vertexes are extracted to obtain the imaging surface coordinates of the four vertices, the imaging surface coordinates of the four vertices of the light projection area are converted into screen coordinates by the imaging surface-screen coordinate conversion parameter, and based on the screen coordinates. Then, the screen-projection surface coordinate conversion parameter, which is a conversion parameter between the screen coordinate system and the projection surface coordinate system, is estimated, the imaging surface coordinates of the projection instruction point are extracted from the digital image, and the imaging surface coordinates of the projection instruction point are extracted. Is converted into screen coordinates using the imaging plane-screen coordinate conversion parameter, the projection image is loaded, an assumed projection image having a coordinate value of the screen coordinate system is generated, and the coordinate value of the screen coordinate system of the assumed projection image is set. Distortion having the same shape and positioning as the assumed projection image by generating the projection image by converting the coordinate value of the projection coordinate system to the coordinate value of the projection coordinate system on the screen and projecting the projection image A projection image having no image is formed on the projection surface.
[0032]
On the plane image placed at an arbitrary position on the screen by estimating the transformation parameters using the vertex of the plane image placed on the projection plane as the measurement point and measuring the projection point coordinates using the vertex of the plane image as the projection designation point It is possible to project a projection image automatically corrected for distortion.
[0033]
Furthermore, the above-described image projection apparatus may include peripheral color conversion means for converting the color of the peripheral region other than the projection image region in the captured image region. The peripheral color conversion means may convert the color of the peripheral area other than the projected image area in the captured image area into a color that does not transmit light.
[0034]
Further, the above-described image projection method may include a step of converting the color of the portion other than the selected image in the assumed projection image after the step of generating the assumed projection image. At this time, the color of the portion other than the selected image in the assumed projection image may be converted to a color that does not transmit light.
[0035]
By converting the peripheral portion having no image information in the projection region into a color that does not transmit light, there is no useless projection light portion, and a projection image in which distortion is corrected can be provided.
[0036]
Furthermore, the image projection apparatus described above may include an optical axis matching unit that makes the optical axes of the imaging unit and the projection unit the same.
[0037]
Since the projection optical axis and the imaging optical axis are aligned by providing a half mirror, etc., there is no need to change the imaging area according to the position of the projection plane, and initial settings such as panning, tilting and zooming control of the imaging unit are not required Thus, convenience can be further improved.
[0038]
Further, in the image projection method described above, the step of obtaining the imaging plane coordinates of the four vertices of the light projection area obtains an equation of a straight line of each side of the projection area by Hough transform, and determines the intersection of each straight line as the light projection area. Can be obtained as the imaging plane coordinates of the four vertices. In the step of estimating the screen-projection plane coordinate conversion parameter, the screen-projection plane coordinate conversion parameter may be estimated by the least square method based on the screen coordinates of four or more projection reference points. The step of estimating the imaging plane-screen coordinate conversion parameter estimates the imaging plane-screen coordinate conversion parameter by the least square method based on the imaging plane coordinates of four or more measurement points or the four vertices of the projection rectangular plane. You can also
[0039]
DETAILED DESCRIPTION OF THE INVENTION
<Embodiment 1>
Hereinafter, a first embodiment of the present invention will be described with reference to the drawings. FIG. 1 is a diagram showing an example of the configuration of the image projection apparatus of the present invention. In FIG. 1, the image projection apparatus includes an imaging unit 102 such as a CCD (Charge Coupled Device) camera that captures a projection plane 101 and a mode input that receives a mode instruction such as a calibration mode and a projection mode from the outside such as a user. Unit 103, switch 104 that outputs analog image information captured by imaging unit 102 when the calibration mode is designated by mode input unit 103, and A / D that performs analog / digital (A / D) conversion of the image information A D conversion unit 105; an image memory 106 for storing A / D converted digital images; a measurement point 101a for extracting measurement points 101a from the image; and outputting the imaging plane coordinates; A conversion path between the coordinate system from the imaging surface coordinates of the measurement point 101a and the screen coordinates on the projection surface 101 of the measurement point 101a. An imaging surface-screen coordinate conversion parameter estimation unit 108 that estimates a meter (imaging surface-screen coordinate conversion parameter), and the imaging surface coordinates of the four vertices of the contour rectangle of the projection light projected from the projection unit 113 are extracted, The projection light vertex extraction unit 109 that converts the imaging surface coordinates into screen coordinates by the imaging surface-screen coordinate conversion parameter and outputs the screen coordinates of the four vertices extracted by the projection light vertex extraction unit 109, and the imaging surface-screen coordinates. A screen-projection surface coordinate conversion parameter estimation unit 110 that estimates a conversion parameter (screen-projection surface coordinate conversion parameter) between the screen coordinate system and the projection surface coordinate system from the conversion parameters and the projection surface coordinates corresponding to the four vertices. And the imaging plane coordinates of the projection instruction point 101b are extracted from the image, and the imaging plane-screen Projection instruction point coordinate measuring unit 111 that outputs the screen coordinates using the target conversion parameters, the screen coordinate values of the four vertices of the outline quadrant of the projection light, the screen coordinate values of the projection light instruction point 101b, and the imaging plane-screen plane conversion parameter , A memory 112 for storing screen-projection plane conversion parameters, a projection unit 113 for projecting an image designated and selected from the outside such as a user, and projection according to an external input from the user or the like in the projection mode A projection image selection unit 114 that selects an image to be projected, and an image that is projected on the projection plane 101 from the coordinates 4 vertex coordinates and the projection instruction point coordinates of the projection light stored in the memory 112 (expressed in a screen coordinate system) An assumed projection image generation unit 115 for generating the image and a projection image storage unit 116 for storing an image selected from the outside such as a user. Screen-projection surface coordinates that are output by converting the assumed projection image expressed in the screen coordinate system into a projection image expressed in the projection surface coordinate system using the screen-projection surface coordinate conversion parameter stored in the memory 112 A conversion unit 117.
[0040]
Here, the projection plane 101 includes a measurement point 101a used for estimating conversion parameters between the imaging plane coordinate system and the screen coordinate system, and a projection instruction point 101b that indicates a projection position.
[0041]
Next, each coordinate system will be described.
[0042]
FIG. 2 is a diagram showing the relationship between the coordinate systems. In FIG. 2, the projection plane 209, which is the imaging surface, is the xy plane, and one screen is measured at the measurement point 211. The three straight lines passing through the origin are spatially orthogonal to each other as the Xw axis, Yw axis, and Zw axis. A coordinate system 201 is set. In FIG. 2, the lower right point on the top of the drawing is the screen coordinate system origin. Any measurement point 211 may be the origin. Based on the definition of the screen coordinate system 201, the screen coordinate values of the four vertices of the measurement point 211, the projection instruction point 208, and the projection light outline quadrangle (hereinafter also simply referred to as “projection light”) 210 arranged on the projection plane 209 ( Xw, Yw, 0) can be quantified.
[0043]
Further, the projection coordinate system (Xp, Yp, Zp) is set with the projection center of the projection unit 113 (FIG. 1) as the origin, the projection axis direction of the projection unit 113 as the z-axis direction, and the projection surface such as a liquid crystal panel as the xy plane. Set.
[0044]
The origin of the projection plane coordinate system (xp, yp) 203 defined on the projection plane parallel to the XpYp plane is the point where the projection axis (zp axis) of the projection unit 113 intersects this projection plane. .
[0045]
Further, the camera coordinate system 204 is set with the lens center of the imaging unit 102 (FIG. 1) as the origin, the optical axis direction of the imaging unit 102 as the z-axis direction, and the CCD element surface as the xy plane.
[0046]
The origin of the imaging plane coordinate system (xc, yc) 205 defined on the CCD element plane parallel to the XcYc plane is the point where the optical axis (Zc axis) of the imaging unit 102 intersects with this imaging plane.
[0047]
The projection unit 113 and the imaging unit 102 have a focal length Fp206 and a focal length Fc207, respectively.
[0048]
Hereinafter, the operation of the image projection apparatus configured as described above will be described.
[0049]
FIG. 3 is a flowchart showing the operation of the image projection apparatus of the present invention. The operation of the image projection apparatus of the present invention can be broadly described by two processes, a calibration process (steps 301 to 311) and a projection process (steps 312 to 317).
[0050]
First, the calibration process (step 301 to step 311) will be described.
[0051]
First, when the calibration mode is set in the mode input unit 103 by an external input from a user or the like (step 301), the imaging unit 102 is in a light projection area in a state where the projection unit 113 is projected (step 302). (Step 303).
[0052]
Since the mode input unit 103 turns on the switch 104, the image captured by the imaging unit 102 is input to the A / D conversion unit 105, A / D converted, and stored in the image memory 106 as a digital image.
[0053]
FIG. 4 is a diagram illustrating an example of a captured image. In FIG. 4, the same components as those in FIG.
[0054]
Next, the measurement point extraction unit 107 extracts the measurement point 211 on the projection plane 101 from the digital image stored in the image memory 106 by image processing, and outputs the imaging plane coordinates (xc, yc) (step). 304).
[0055]
It is checked whether all extraction has been completed for all measurement points 211 (step 206), and if not completed, the processing of step 304 is repeated. The measurement point 211 and the projection instruction point 208 may be identified on the image by changing their colors and shapes.
[0056]
Next, in the imaging plane-screen coordinate conversion parameter estimation unit 108, a conversion parameter between the imaging plane coordinates and the screen coordinates (imaging plane-screen coordinate conversion parameters) is estimated from the measurement point 211 (step 306). The screen coordinate conversion parameter is stored in the memory 112. Here, generally, the point (Xw1, Yw1, 0) on the screen and the imaging plane coordinates (xc1, yc1) when the point is imaged are expressed as in the following <Expression 3> or <Expression 4>. be able to.

[0057]
Here, since the correspondence relationship between the imaging plane coordinates (xc1, yc1) and the screen coordinates (Xw1, Yx1, 0) of each measurement point 211 is known, the conversion parameter matrix L depends on the correspondence of four or more measurement points 211. Can be estimated by the method of least squares.
[0058]
Next, the projection light vertex extraction unit 109 extracts four vertices of the outline quadrangle of the projection light 210 from the digital image by image processing, obtains the imaging surface coordinates (xc2, yc2), and obtains these imaging surface coordinates as the imaging surface − The screen coordinates (Xw2, Yw2, 0) are converted by the screen coordinate conversion parameter (step 307).
[0059]
The screen coordinates (Xw2, Yw2, 0) are stored in the memory 112 and output to the screen-projection plane coordinate conversion parameter estimation unit 110. The processed image is output to the memory 112. Then, the processing of step 307 is repeated until the processing of all four vertices is completed (step 308). Here, the imaging surface coordinates (xc2, yc2) of the four vertices can be obtained, for example, by obtaining an equation of a straight line of each side of the outline quadrangle of the projection light 210 by Hough transformation or the like and obtaining an intersection of the four straight lines. it can.
[0060]
Next, the screen-projection surface coordinate conversion parameter estimation unit 110 estimates a conversion parameter (screen-projection surface coordinate conversion parameter) between the screen coordinate system and the projection surface coordinate system using the four vertices (step 309). ) And stored in the memory 112.
[0061]
In general, the point (Xw2, Yw2, 0) on the screen and the projected surface coordinates (xp2, yp2) on the liquid crystal panel at that point can be expressed as in the following <Expression 5> or <Expression 6>. .

[0062]
Here, the projection plane coordinates (xp2, yp2) of the four vertices of the outline quadrangle of the projection light 210 correspond to the four vertices of the projected rectangular area on the liquid crystal panel, and therefore can be easily obtained. Therefore, since both the projection surface coordinates and the screen coordinates at the four vertices are known, the screen-projection surface coordinate conversion parameter M can be estimated by solving the simultaneous equations of <Expression 5> using the correspondence. it can.
[0063]
Next, the projection instruction point coordinate measuring unit 111 extracts the projection instruction point 208 from the digital image by image processing, obtains the imaging surface coordinates (xc3, yc3), and the imaging surface-screen coordinates stored in the memory 112. Using the conversion parameters, (xc3, yc3) is converted into screen coordinates (Xw3, Yw3, 0) (step 310) and stored in the memory 112.
[0064]
Here, when there are a plurality of projection instruction points 208, the processing of step 310 is repeated (step 311). The projection position, the aspect ratio of the projection, and the like can be designated by the arrangement of the plurality of projection instruction points 208.
[0065]
The processes in steps 310 to 311 described above are calibration processes. Next, the projection process will be described.
[0066]
In the mode input unit 103, a projection mode is set by an external input from a user or the like (step 312). When a projection image is selected in the projection image selection unit 114 (step 313), the projection image is converted through a conversion process. Projected by the projection unit 113.
[0067]
FIG. 5 is a diagram showing an example of the projection. As shown in FIG. 5, the projection light (projection image) 210 is projected without distortion with the projection instruction point 208 as the upper left vertex.
[0068]
When the projection image selection unit 114 selects a projection image from the outside such as a user (step 313), the assumed projection image generation unit 115 loads the selection image from the projection image storage unit 116 and loads it onto the projection plane 101. An assumed projection image identical to the projection image projected on the screen is generated (step 314).
[0069]
FIG. 6 is a diagram illustrating an assumed projection image. This assumed projection image is expressed in the screen coordinate system and is the same image as the projection image projected on the screen. The selected image 501 is arranged in an enlarged or reduced manner so that the projection instruction point 208 coincides with the upper left vertex and is entirely within the area of the projection light 210.
[0070]
Next, the screen-projection surface coordinate conversion unit 117 generates the projection image by converting the assumed projection image of the screen coordinate system expression shown in FIG. 6 into the projection coordinate system expression by the screen-projection surface coordinate conversion parameter M. (Step 315).
[0071]
When this projection image is projected by the projection unit 113 (step 316), a projection image having the same shape and positioning as the assumed projection image is formed on the projection plane 101.
[0072]
Next, the processing of step 313 to step 316 is repeated until the end of projection is selected from the outside such as the user (step 317).
[0073]
In the above-described embodiment, the case where there is one projection instruction point 208 has been described. In addition to this, for example, two projection instruction points 208 indicate the left side of the selected image 501 and the projection is performed. Not only the position but also the projection scale can be indicated.
[0074]
FIG. 7 is a diagram illustrating an example in which the selection image 501 is arranged so that the line segment 701 defined by the two projection instruction points 208 matches the left side of the selection image 501. Here, FIG. 7A shows a state before the selection image 501 is arranged, and FIG. 7B shows a state after the selection image 501 is arranged. In the case of FIG. 7, the original aspect ratio x: y of the selected image 501 is also retained on the projection plane 209. Further, an instruction to change the aspect ratio x: y of the selected image 501 can be made by setting the projection instruction points 208 to three or more.
[0075]
In FIG. 8, the selection image 501 is arranged so that the line segment 701 defined by the three projection instruction points 208 and the left side of the selection image 501 coincide, and the line segment 801 and the bottom side of the selection image 501 coincide. It is a figure which shows an example. Here, FIG. 8A shows a state before the selection image 501 is arranged, and FIG. 8B shows a state after the selection image 501 is arranged. In the case of FIG. 8, the original aspect ratio x: y of the selected image 501 is converted into a ratio x ′: y ′ between the line segment 701 and the line segment 801 and projected. The conversion of the selected image 501 in changing the aspect ratio can be realized by a simple linear conversion. Also, an instruction to change the shape of the selected image can be made by setting four or more projection instruction points 208.
[0076]
FIG. 9 is a diagram in which the deformed arrangement is performed so that the four projection instruction points 208 and the four vertex positions of the selected image 501 coincide with each other. Here, FIG. 9A shows a state before the selection image 501 is arranged, and FIG. 9B shows a state after the selection image 501 is arranged. The conversion of the selected image 501 with respect to the shape change as shown in FIG. 9 can be performed using a non-linear conversion such as warping.
[0077]
As described above, according to the present embodiment, by including the imaging unit 102 for calibration processing and the calibration processing execution unit, a selected image can be selected without distortion at a position according to an external setting such as a user. Can be projected.
[0078]
In this embodiment, an example of an apparatus that projects a projection image (selected image) stored in the projection image storage unit 116 and selected by a user without distortion is described as an example. However, the projection image is input from the outside. It may be a digital image. As a result, if an A / D converter or the like is used, projection without distortion can be performed for a television signal or the like existing as an analog signal.
[0079]
Further, since a measurement procedure such as coordinate reading by the user is not necessary, positioning projection can be performed easily, and the accuracy of positioning and distortion correction can be improved.
[0080]
<Embodiment 2>
Hereinafter, a second embodiment of the present invention will be described with reference to the drawings.
[0081]
FIG. 10 is a diagram showing an example of the configuration of the image projection apparatus of the present invention. In FIG. 10, the same components as those in FIG. An image projection apparatus shown in FIG. 10 includes an imaging unit 102 such as a CCD camera that captures a projection plane 101, a mode input unit 103 that receives a mode instruction such as a calibration mode and a projection mode from the outside such as a user, and a mode. A switch 104 that outputs analog image information captured by the imaging unit 102 when the calibration mode is designated by the input unit 103, an A / D conversion unit 105 that performs analog / digital (A / D) conversion of the image information, and , An image memory 106 for accumulating A / D converted digital images, a measurement point 101a for extracting the measurement point 101a from the image, and outputting the imaging plane coordinates thereof, and imaging of the plurality of extracted measurement points 101a Conversion parameters between the coordinate system and the screen coordinates on the projection plane 101 of the measurement point 101a (imaging plane-skew) Imaging plane-screen coordinate conversion parameter estimation unit 108 for estimating the screen coordinate conversion parameter), a changeover switch 1001 for switching the projection image in the calibration mode and the projection mode, and a projection reference image used in the calibration mode. A projection reference image generation unit 1002 for projecting, a projection unit 113 for projecting an image selected and selected from the outside such as a user, and a projection reference point extracted from the projection reference image projected from the projection unit 113 by image processing A projection reference point coordinate extraction unit 1003 that obtains the imaging plane coordinates and converts the imaging plane coordinates into screen coordinates based on imaging plane-screen coordinate conversion parameters stored in the memory 112 described later, and a projection reference point coordinate extraction unit 1003. Screen coordinates of the projection reference point extracted in step 1, Screen-projection surface coordinate conversion parameter estimation for estimating a conversion parameter (screen-projection surface coordinate conversion parameter) between the screen coordinate system and the projection surface coordinate system from the lean coordinate conversion parameter and the projection surface coordinate corresponding to the projection reference point Unit 1004, a projection instruction point coordinate measuring unit 111 that extracts the imaging plane coordinates of the projection instruction point 101b from the image and outputs the screen coordinates using the imaging plane-screen coordinate conversion parameter, and the screen coordinates of the projection reference point A memory 112 for storing values, a screen coordinate value of the projection light instruction point 101b, an imaging surface-screen surface conversion parameter, and a screen-projection surface conversion parameter, and projection according to an external input from a user or the like in the projection mode. Projection image selection unit 114 for selecting an image and projection light stored in the memory 112 An assumed projection image generation unit 115 that generates an image (expressed in the screen coordinate system) that is assumed to be projected on the projection plane 101 from the coordinates of the four vertices of the outline rectangle and the projection instruction point coordinates, and is selected from the outside such as a user A projected image storage unit 116 that stores images, and an assumed projection image expressed in the screen coordinate system is converted into a projected image expressed in the projection surface coordinate system by the screen-projection surface coordinate conversion parameter stored in the memory 112. And a screen-projection surface coordinate conversion unit 117 for outputting the output.
[0082]
In the present embodiment, in order to improve the estimation accuracy of the screen-projection plane coordinate conversion parameter, a projection reference image is projected, and the coordinate values of four or more projection reference points are used, so that the least square method is used. Improve the estimation accuracy of.
[0083]
FIG. 11 is a diagram in which a projection reference image 1101 having four or more projection reference points 1102 is projected on the projection plane 209.
[0084]
Hereinafter, the operation of the image projection apparatus according to the present embodiment will be described.
[0085]
FIG. 12 is a flowchart showing the operation of the image projection apparatus according to this embodiment. Here, in FIG. 12, the same step number is attached | subjected about the step which performs the process same as FIG.
[0086]
First, the operation in the calibration process (step 301 to step 311) will be described. First, when the calibration mode is set by the user input in the mode input unit 103 (step 301), the changeover switch 1001 is activated, and the projection unit 113 generates the projection reference image generated by the projection reference image generation unit 1002. 1101 (FIG. 11) is projected (step 1201).
[0087]
Next, imaging is performed so that the imaging unit 102 includes all the projection reference images 1101 (step 303).
[0088]
Next, the photographed image is input from the switch 104 to the A / D conversion unit 105, subjected to A / D conversion by the A / D conversion unit 105, and then stored as a digital image in the image memory 106.
[0089]
Next, the measurement point extraction unit 107 extracts the imaging surface coordinates (xc, yc) of the measurement points (step 304), and repeats the process of step 304 until extraction is completed for all the measurement points 211 (step 305). .
[0090]
Next, the imaging surface-screen coordinate conversion parameter estimation unit 108 estimates conversion parameters between the imaging surface coordinates and the screen coordinates (step 306) and stores them in the memory 112.
[0091]
Next, the projection reference point coordinate extraction unit 1003 extracts all of the captured projection reference points 1102 by image processing, and obtains the imaging plane coordinates (xc2, yc2). The image plane coordinates (xc2, yc2) are converted into screen coordinates (Xw2, Yw2, 0) by the image plane-screen coordinate conversion parameter (step 1202), stored in the memory 112, and screen-projected. Output to the plane coordinate conversion parameter estimation unit 1004. Then, the processing in step 1202 is repeated until the processing for all projection reference points 1102 is completed (step 1203). The measurement point 211, the projection instruction point 208, and the projection reference point 1102 may be identified by changing the color or shape of each point.
[0092]
Next, the screen-projection surface coordinate conversion parameter estimation unit 1004 estimates a conversion parameter between the screen coordinate system and the projection surface coordinate system using the projection reference point 102 (step 1204) and stores it in the memory 112. The values of Xw2 and Yw2 in <Expression 5> above are obtained by the projection reference point extraction unit 1003, and the values of xp2 and yp2 in <Expression 5> are the projection surfaces on the liquid crystal panel of the projection unit 113. Since it is a coordinate, it can be easily obtained if the ratio between the liquid crystal panel size and the projection reference image is known. Therefore, if there are four or more projection reference points 1102, the transformation parameter (M in <Expression 6>) can be estimated by the least square method.
[0093]
Next, the projection instruction point coordinate measuring unit 111 extracts the projection instruction point 208 from the digital image by image processing, obtains the imaging surface coordinates (xc3, yc3), and the imaging surface-screen coordinates stored in the memory 112. Using the conversion parameters, (xc3, yc3) is converted into screen coordinates (Xw3, Yw3, 0) (step 310) and stored in the memory 112.
[0094]
Here, when there are a plurality of projection instruction points 208, the processing of step 310 is repeated (step 311). The projection position, the aspect ratio of the projection, and the like can be designated by the arrangement of the plurality of projection instruction points 208.
[0095]
The processes in steps 310 to 311 described above are calibration processes. Next, the projection process will be described.
[0096]
In the mode input unit 103, when the projection mode is set by an external input from the user or the like (step 312), the changeover switch 301 that receives the output signal indicating the projection mode from the mode input unit 103 switches the screen-covered mode. It operates so as to input the output of the projection plane coordinate conversion unit 117 to the projection unit 113. When a projection image is selected by the projection image selection unit 114 (step 313), the projection image is projected by the projection unit 113.
[0097]
When the projection image selection unit 114 selects a projection image from the outside such as a user (step 313), the assumed projection image generation unit 115 loads the selection image from the projection image storage unit 116 and loads it onto the projection plane 101. An assumed projection image identical to the projection image projected on the screen is generated (step 314).
[0098]
Next, the screen-projection surface coordinate conversion unit 117 generates the projection image by converting the assumed projection image of the screen coordinate system expression shown in FIG. 6 into the projection coordinate system expression by the screen-projection surface coordinate conversion parameter M. (Step 315).
[0099]
When this projection image is projected by the projection unit 113 (step 316), a projection image having the same shape and positioning as the assumed projection image is formed on the projection plane 101.
[0100]
Next, the processing of step 313 to step 316 is repeated until the end of projection is selected from the outside such as the user (step 317).
[0101]
In this embodiment, an example of an apparatus that projects a projection image (selected image) stored in the projection image storage unit 116 and selected by a user without distortion is described as an example. However, the projection image is input from the outside. It may be a digital image. As a result, if an A / D converter or the like is used, projection without distortion can be performed for a television signal or the like existing as an analog signal.
[0102]
As described above, according to the present embodiment, by including the imaging unit 102 for calibration processing and the execution unit for calibration processing, the designation accuracy of the projection position is greatly improved, and the accuracy of the projection distortion correction is improved. It can be greatly improved.
[0103]
In addition, since measurement procedures such as coordinate reading by the user are not required, positioning projection can be performed easily, and the accuracy of positioning and distortion correction can be greatly improved.
[0104]
<Embodiment 3>
The third embodiment of the present invention will be described below with reference to the drawings.
[0105]
FIG. 13 is a diagram showing an example of the configuration of the image projection apparatus of the present invention. In FIG. 13, the same components as those in FIG. The image projection apparatus shown in FIG. 13 includes an imaging unit 102 such as a CCD camera that captures a projection plane 101 on which a rectangular projection rectangular plane 1301 for designating a projection position and a projection area is projected, and from the outside such as a user. A mode input unit 103 that receives a mode instruction such as a calibration mode and a projection mode; a switch 104 that outputs analog image information captured by the imaging unit 102 when the calibration mode is designated by the mode input unit 103; and image information A / D converter 105 that performs analog / digital (A / D) conversion, image memory 106 that stores the A / D converted digital image, and four vertices of projected rectangular plane 1301 are extracted from the digital image. , A projection rectangular plane vertex extraction unit 1302 for outputting the imaging plane coordinates, and an extracted projection rectangular plane 1301. An imaging surface-screen coordinate conversion parameter estimation unit 1303 that estimates a conversion parameter (imaging surface-screen coordinate conversion parameter) between the two coordinate systems from the vertex and the screen coordinates on the projection surface 101 of the vertex, and 4 of the projection rectangular surface 1301 Extracted by the projection light vertex extraction unit 109 which extracts the imaging surface coordinates of the two vertices, converts the imaging surface coordinates into screen coordinates by the imaging surface-screen coordinate conversion parameter, and outputs the screen coordinates. A screen coordinate system and a projection surface coordinate system conversion parameter (screen-projection surface coordinate conversion parameter) are estimated from the screen coordinates of the four vertices, the imaging surface-screen coordinate conversion parameters, and the projection surface coordinates corresponding to the four vertices. Screen-projection surface coordinate conversion parameter estimation unit 110 and projection rectangular surface 130 A projection instruction point coordinate measuring unit 1304 for measuring the projection instruction point coordinates from the screen coordinates using the imaging surface coordinates and the imaging surface-screen coordinate conversion parameters, the screen coordinate values of the four vertices of the projection rectangular surface 1301, and the projection rectangular surface 1301. A memory 112 that stores screen coordinate values, imaging plane-screen plane conversion parameters, and screen-projection plane conversion parameters; a projection unit 113 that projects a selected image selected from the outside such as a user; and a projection mode. A projection image selection unit 114 that selects an image to be projected according to an input from the outside such as a user, and an image that is projected on the projection plane 101 from the four vertex coordinates of the projection rectangular plane 1301 stored in the memory 112 Assumed projection image generation unit 115 for generating (expressed in the screen coordinate system) and selected from the outside such as a user A projected image storage unit 116 that stores images, and an assumed projection image expressed in the screen coordinate system is converted into a projected image expressed in the projection surface coordinate system by the screen-projection surface coordinate conversion parameter stored in the memory 112. And a screen-projection surface coordinate conversion unit 117 for outputting the output.
[0106]
In the image projection apparatus described above, a projected rectangular surface 1301 (for example, a sheet of a predetermined size such as A3 size or B3 size) whose relative positional relationship between all the vertices (four vertices) arranged on the projection surface 101 is known. Or the like), or the four vertices of the projected rectangular plane 1301 are projected to the measurement points in the first embodiment described above and It is treated as a projection instruction point, and calibration processing and projection processing are performed.
[0107]
Hereinafter, the operation of the image projection apparatus according to the present embodiment will be described.
[0108]
FIG. 14 is a flowchart showing the operation of the image projection apparatus according to this embodiment. Here, in FIG. 14, the same step numbers are assigned to the steps for performing the same processing as in FIG.
[0109]
First, the operation in the calibration process (step 301 to step 1404) will be described. First, when a calibration mode is set in the mode input unit 103 by an external input from a user or the like (step 301), the imaging unit 102 is in a light projection area in a state where the projection unit 113 is projected (step 302). Photographing is performed so as to include everything (step 303).
[0110]
Next, the captured image is input from the switch 104 to the A / D conversion unit 105, A / D converted by the A / D conversion unit 105, and stored in the image memory 106.
[0111]
FIG. 15 is a diagram illustrating an example of an image photographed on the projection surface 209. In FIG. 15, the projection light 210 is projected on the projection plane 209 and the projection rectangular plane 1301. Hereinafter, the operation of the image projection apparatus according to the present embodiment will be described with reference to FIG.
[0112]
Next, the projection rectangular plane extraction unit 1302 extracts the vertices of the projection rectangular plane 1301 from the image shown in FIG. 15 by image processing, and stores the imaging plane coordinates (xc, yc) in the memory 112. It outputs to the screen coordinate conversion parameter estimation part 1303 (step 1401). Then, it is checked whether extraction has been completed for all four vertices (step 1402), and if not completed, the processing of step 1401 is repeated. The imaging surface coordinates (xc, yc) of the four vertices can be obtained, for example, by obtaining a linear equation of each side of the outline quadrangle of the projection rectangular surface 1301 by Hough transformation or the like and obtaining the intersection of the four straight lines.
[0113]
Next, the imaging plane-screen coordinate conversion parameter estimation unit 108 estimates a conversion parameter (imaging plane-screen coordinate conversion parameter) between the imaging plane coordinates and the screen coordinates from the four vertices of the projection rectangular plane 1301 (step 1403). This imaging plane-screen coordinate conversion parameter is stored in the memory 112. In this way, the conversion parameter matrix L shown in <Expression 4> described above can be estimated.
[0114]
Next, the projection light vertex extraction unit 109 calculates all screen coordinates of the four vertices of the projection light 210 (steps 307 and 308) and stores them in the memory 112.
[0115]
Next, the screen-projection surface coordinate conversion parameter estimation unit 110 estimates the conversion parameters between the screen coordinate system and the projection surface using the four vertices of the projection light 210 (step 309) and stores them in the memory 112.
[0116]
Next, in the projection instruction point coordinate measurement 1304, the coordinates (xc2, yc2) of the four vertices of the projection rectangular plane 1301 obtained in step 1401 and stored in the memory 112 are the imaging plane-screen that is also stored in the memory 112. Using the coordinate conversion parameters, the screen coordinates (Xw3, Yw3, 0) are converted (step 1404) and stored in the memory 112 as projection instruction points. The above is the calibration process.
[0117]
Hereinafter, regarding the projection processing (steps 312 to 317), processing similar to the processing shown in FIG. 3 is performed by treating the four vertices of the projection rectangular plane 1301 obtained in step 1404 described above as projection instruction points. be able to.
[0118]
In the mode input unit 103, a projection mode is set by an external input from a user or the like (step 312). When a projection image is selected in the projection image selection unit 114 (step 313), the projection image is converted through a conversion process. Projected by the projection unit 113.
[0119]
When the projection image selection unit 114 selects a projection image from the outside such as a user (step 313), the assumed projection image generation unit 115 loads the selection image from the projection image storage unit 116, An assumed projection image identical to the projection image projected on 101 is generated (step 314).
[0120]
Next, the screen-projection surface coordinate conversion unit 117 generates the projection image by converting the assumed projection image of the screen coordinate system expression shown in FIG. 6 into the projection coordinate system expression by the screen-projection surface coordinate conversion parameter M. (Step 315).
[0121]
When this projection image is projected by the projection unit 113 (step 316), a projection image having the same shape and positioning as the assumed projection image is formed on the projection plane 101.
[0122]
Next, the processing of step 313 to step 316 is repeated until the end of projection is selected from the outside such as the user (step 317).
[0123]
In this embodiment, an example of an apparatus that projects a projection image (selected image) stored in the projection image storage unit 116 and selected by a user without distortion is described as an example. However, the projection image is input from the outside. It may be a digital image. As a result, if an A / D converter or the like is used, projection without distortion can be performed for a television signal or the like existing as an analog signal.
[0124]
As described above, in the present embodiment, the four vertices of the projection rectangular plane 1301 are processed as the measurement point 211 and the projection instruction point 208 in the first embodiment. You may arrange | position four points which serve as the instruction | indication point 208 on a projection surface.
[0125]
As described above, according to the present embodiment, since the imaging unit 102 for calibration processing and the execution unit for calibration processing are provided, the selected image can be projected onto the specific rectangular area on the projection plane 101 without distortion.
[0126]
Further, since a measurement procedure such as coordinate reading by a user or the like is not necessary, positioning projection can be performed easily, and the accuracy of positioning and distortion correction can be greatly improved.
[0127]
<Embodiment 4>
Hereinafter, a fourth embodiment of the present invention will be described with reference to the drawings.
[0128]
FIG. 16 is a diagram showing an example of the configuration of the image projection apparatus of the present invention. In FIG. 16, the same components as those in FIG. The image projection apparatus illustrated in FIG. 16 includes an imaging unit 102 such as a CCD camera that captures the projection plane 101, a mode input unit 103 that receives a mode instruction such as a calibration mode and a projection mode from the outside such as a user, and a mode. A switch 104 that outputs analog image information captured by the imaging unit 102 when the calibration mode is designated by the input unit 103, an A / D conversion unit 105 that performs analog / digital (A / D) conversion of the image information, and , An image memory 106 for accumulating A / D converted digital images, a measurement point 101a for extracting the measurement point 101a from the image, and outputting the imaging plane coordinates thereof, and imaging of the plurality of extracted measurement points 101a Conversion parameters between the coordinate system and the screen coordinates on the projection plane 101 of the measurement point 101a (imaging plane-skew) Imaging plane-screen coordinate conversion parameter estimation unit 108 for estimating the image plane transformation parameter), and imaging plane coordinates of the four vertices of the outline quadrangle of the projection light projected from the projection unit 113 are extracted, and imaging plane-screen The projection light vertex extraction unit 109 that converts the imaging surface coordinates into screen coordinates by the coordinate conversion parameters and outputs them, the screen coordinates of the four vertices extracted by the projection light vertex extraction unit 109, the imaging surface-screen coordinate conversion parameters, and the A screen-projection surface coordinate conversion parameter estimation unit 110 that estimates a conversion parameter (screen-projection surface coordinate conversion parameter) between the screen coordinate system and the projection surface coordinate system from the projection surface coordinates corresponding to the four vertices, and a projection instruction The imaging plane coordinates of the point 101b are extracted from the image, and imaging plane-screen coordinate conversion parameters are used. The projection instruction point coordinate measuring unit 111 for outputting the screen coordinates, the screen coordinate values of the four corners of the contour quadrangle of the projection light, the screen coordinate values of the projection light instruction point 101b, the imaging plane-screen plane conversion parameter, and the screen-projection. A memory 112 that stores surface conversion parameters, a projection unit 113 that projects an image designated and selected from the outside such as a user, and an image to be projected according to an input from the outside such as the user in a projection mode. Assumed projection for generating an image (expressed in the screen coordinate system) that is assumed to be projected on the projection plane 101 from the projected image selection unit 114 and the coordinates of the four corners of the outline of the projection light stored in the memory 112 and the projection instruction point coordinates. An image generation unit 115, a projection image storage unit 116 that stores images selected from the outside such as a user, and an assumed projection image generation unit A peripheral color conversion unit 1601 that converts a peripheral color that does not include a selected image selected from the outside such as a user into a color that does not transmit light, such as black, in the assumed projection image output from 115; Screen projected in the screen coordinate system processed by the color conversion unit 1601 is stored in the memory 112 -screen that is converted into a projected image expressed in the projected surface coordinate system using the projected surface coordinate conversion parameters and output- A projection surface coordinate conversion unit 117.
[0129]
In this embodiment, in order to perform an alignment-free distortion-free projection that does not have an irrelevant ambient light portion in the selected image to be projected, the color of the peripheral portion where the selected image does not exist in the assumed projection image is black or the like Projection processing is performed to convert the color into a color that does not transmit light.
[0130]
Hereinafter, the operation of the image projection apparatus according to the present embodiment will be described.
[0131]
FIG. 17 is a flowchart showing the operation of the image projection apparatus according to this embodiment. Here, in FIG. 17, the same step number is attached | subjected about the step which performs the process same as FIG.
[0132]
Here, the operation of the calibration process (step 301 to step 311) can be the same as that of the above-described first embodiment (FIG. 3). That is, first, when the calibration mode is set by the mode input unit 103 by an external input from a user or the like (step 301), the imaging unit 102 projects the projection unit 113 in a projected state (step 302). Photographing is performed so as to include the entire light region (step 303).
[0133]
Since the mode input unit 103 turns on the switch 104, the image captured by the imaging unit 102 is input to the A / D conversion unit 105, A / D converted, and stored in the image memory 106 as a digital image.
[0134]
Next, the measurement point extraction unit 107 extracts the measurement point 211 on the projection plane 101 from the digital image stored in the image memory 106 by image processing, and outputs the imaging plane coordinates (xc, yc) (step). 304).
[0135]
It is checked whether all extraction has been completed for all measurement points 211 (step 206), and if not completed, the processing of step 304 is repeated.
[0136]
Next, in the imaging plane-screen coordinate conversion parameter estimation unit 108, a conversion parameter between the imaging plane coordinates and the screen coordinates (imaging plane-screen coordinate conversion parameters) is estimated from the measurement point 211 (step 306). The screen coordinate conversion parameter is stored in the memory 112.
[0137]
Next, the projection light vertex extraction unit 109 extracts four vertices of the outline quadrangle of the projection light 210 from the digital image by image processing, obtains the imaging surface coordinates (xc2, yc2), and obtains these imaging surface coordinates as the imaging surface − The screen coordinates (Xw2, Yw2, 0) are converted by the screen coordinate conversion parameter (step 307).
[0138]
The screen coordinates (Xw2, Yw2, 0) are stored in the memory 112 and output to the screen-projection plane coordinate conversion parameter estimation unit 110. The processed image is output to the memory 112. Then, the processing of step 307 is repeated until the processing of all four vertices is completed (step 308).
[0139]
Next, the screen-projection surface coordinate conversion parameter estimation unit 110 estimates a conversion parameter (screen-projection surface coordinate conversion parameter) between the screen coordinate system and the projection surface coordinate system using the four vertices (step 309). ) And stored in the memory 112.
[0140]
Next, the projection instruction point coordinate measuring unit 111 extracts the projection instruction point 208 from the digital image by image processing, obtains the imaging surface coordinates (xc3, yc3), and the imaging surface-screen coordinates stored in the memory 112. Using the conversion parameters, (xc3, yc3) is converted into screen coordinates (Xw3, Yw3, 0) (step 310) and stored in the memory 112.
[0141]
Here, when there are a plurality of projection instruction points 208, the processing of step 310 is repeated (step 311). The projection position, the aspect ratio of the projection, and the like can be designated by the arrangement of the plurality of projection instruction points 208.
[0142]
The processes in steps 310 to 311 described above are calibration processes. Next, the operation of the projection process (steps 312 to 317) will be described.
[0143]
When the projection mode is set by the mode input unit 103 by an external input from the user or the like (step 312) and the projection image is selected by the projection image selection unit 114 (step 313), the projection image is projected through the conversion process. Is done.
[0144]
FIG. 18 is a diagram illustrating a state in which the projection image is projected onto the projection surface. As shown in FIG. 18, the projection light (projection image) 210 is projected without distortion with the projection instruction point 208 as the upper left vertex. In FIG. 18, unlike the case shown in FIG. 5 described above, the peripheral portion of the selected image 501 does not transmit light and has the same color on the projection surface 209 as the portion not exposed to the projection light 210.
[0145]
As described above, when a projection image is selected from the outside such as a user in the projection image selection unit 114 (step 313), the assumed projection image generation unit 115 loads the selection image from the projection image storage unit 116 and performs projection. An assumed projection image identical to the projection image projected on the surface 101 is generated (step 314).
[0146]
Next, the peripheral color conversion unit 1601 converts the color of a portion of the assumed projection image where the selected image 501 does not exist into a color that does not transmit light such as black (step 1701).
[0147]
The screen-projection surface coordinate conversion unit 117 converts the assumed projection image of the screen coordinate system expression into the projection coordinate system expression by the screen-projection surface coordinate conversion parameter M, and generates a projection image (step 315).
[0148]
When this projection image is projected by the projection unit 113 (step 316), a projection image having the same shape and positioning as the assumed projection image is formed on the projection plane 101.
[0149]
Next, the processing of step 313 to step 316 is repeated until the end of projection is selected from the outside such as the user (step 317).
[0150]
In this embodiment, an example of an apparatus that projects a projection image (selected image) stored in the projection image storage unit 116 and selected by a user without distortion is described as an example. However, the projection image is input from the outside. It may be a digital image. As a result, if an A / D converter or the like is used, projection without distortion can be performed for a television signal or the like existing as an analog signal.
[0151]
In the present embodiment, the peripheral color conversion unit 1601 shows an example in which the color of the peripheral portion where the projection image does not exist is converted into a color such as black that does not transmit light in the assumed projection image. May be the same color as the screen color or any other color that aims for a design effect.
[0152]
Although the present embodiment has been described above, the present embodiment can be applied to any of the first to third embodiments described above.
[0153]
As described above, according to the present embodiment, the peripheral color conversion unit 1601 that converts the color of the portion of the projection light area that does not exist in the image designated from the outside such as the user into a color that does not transmit light. With this, it is possible to perform a projection in which a useless area where no projection light portion is present is shaped, and the distortion is corrected by positioning.
[0154]
Further, since a measurement procedure such as coordinate reading by the user is not necessary, it is possible to easily position and project, and the accuracy of positioning and distortion correction can be greatly improved.
[0155]
<Embodiment 5>
A fifth embodiment of the present invention will be described below with reference to the drawings.
[0156]
FIG. 19 is a diagram showing an example of an embodiment of the image projection apparatus of the present invention. In FIG. 19, the same components as those in FIG. An image projection apparatus shown in FIG. 19 includes an imaging unit 102 such as a CCD camera that captures the projection plane 101, a mode input unit 103 that receives a mode instruction such as a calibration mode and a projection mode from the outside such as a user, and a mode. A switch 104 that outputs analog image information captured by the imaging unit 102 when the calibration mode is designated by the input unit 103, an A / D conversion unit 105 that performs analog / digital (A / D) conversion of the image information, and , An image memory 106 for accumulating A / D converted digital images, a measurement point 101a for extracting the measurement point 101a from the image, and outputting the imaging plane coordinates thereof, and imaging of the plurality of extracted measurement points 101a Conversion parameters between the coordinate system and the screen coordinates on the projection plane 101 of the measurement point 101a (imaging plane-skew) Imaging plane-screen coordinate conversion parameter estimation unit 108 for estimating the image plane transformation parameter), and imaging plane coordinates of the four vertices of the outline quadrangle of the projection light projected from the projection unit 113 are extracted, and imaging plane-screen The projection light vertex extraction unit 109 that converts the imaging surface coordinates into screen coordinates by the coordinate conversion parameters and outputs them, the screen coordinates of the four vertices extracted by the projection light vertex extraction unit 109, the imaging surface-screen coordinate conversion parameters, and the A screen-projection surface coordinate conversion parameter estimation unit 110 that estimates a conversion parameter (screen-projection surface coordinate conversion parameter) between the screen coordinate system and the projection surface coordinate system from the projection surface coordinates corresponding to the four vertices, and a projection instruction The imaging plane coordinates of the point 101b are extracted from the image, and imaging plane-screen coordinate conversion parameters are used. The projection instruction point coordinate measuring unit 111 for outputting the screen coordinates, the screen coordinate values of the four corners of the contour quadrangle of the projection light, the screen coordinate values of the projection light instruction point 101b, the imaging plane-screen plane conversion parameter, and the screen-projection. A memory 112 that stores surface conversion parameters, a projection unit 113 that projects an image designated and selected from the outside such as a user, and an image to be projected according to an input from the outside such as the user in a projection mode. Assumed projection for generating an image (expressed in the screen coordinate system) that is assumed to be projected on the projection plane 101 from the projected image selection unit 114 and the coordinates of the four corners of the outline of the projection light stored in the memory 112 and the projection instruction point coordinates. An image generation unit 115, a projection image storage unit 116 that stores images selected from the outside such as a user, and a screen coordinate system. A screen-projection surface coordinate conversion unit 117 that converts the assumed projection image that is expressed into a projection image expressed in the projection surface coordinate system using the screen-projection surface coordinate conversion parameters stored in the memory 112 and outputs the image. And a half mirror unit 1901 that makes the optical axes of the unit 102 and the projection unit 113 the same.
[0157]
In the present embodiment, by making the optical axes of the imaging unit 102 and the projection unit 113 the same, it is not necessary to change the imaging region of the imaging unit 102 regardless of the position of the projection plane 101.
[0158]
The operation of the image projection apparatus in the present embodiment is the same as the operation shown in FIG. 3 of the first embodiment described above.
[0159]
In this embodiment, an example of an apparatus that projects a projection image (selected image) stored in the projection image storage unit 116 and selected by a user without distortion is described as an example. However, the projection image is input from the outside. It may be a digital image. As a result, if an A / D converter or the like is used, projection without distortion can be performed for a television signal or the like that exists as an analog signal.
[0160]
As described above, according to the present embodiment, by providing the half mirror unit 1901, the projection optical axis and the imaging optical axis can be matched, and the imaging region is changed according to the arrangement position of the projection plane 101. There is no need. For this reason, initial settings such as panning, tilting, and zooming control of the imaging unit 102 are not necessary, and convenience is further improved.
[0161]
【The invention's effect】
As described above, according to the image projecting apparatus and the image projecting method of the present invention, the projection light is captured by the imaging unit, and the coordinate conversion parameter between the projection surface and the projection surface in the projection unit is estimated from the captured image. Therefore, the selected image can be projected to the arbitrarily set projection position without distortion.
[0162]
Further, since there is no need for a measurement procedure such as coordinate reading performed before projection, it is possible to easily perform positioning and projection, and the accuracy of positioning and distortion correction can be greatly improved.
[0163]
In addition, by converting the color of the peripheral part of the selected projection image to a color that does not transmit light, positioning projection can be performed easily, and the accuracy of positioning and distortion correction is improved, and there is no useless projection light part. Now you can project images.
[0164]
In addition, since the half mirror unit is provided so that the projection optical axis coincides with the imaging optical axis, there is no need to change the imaging region according to the arrangement position of the projection plane, and initial settings such as panning, tilting and zooming control of the imaging unit Is no longer necessary, and convenience can be improved.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of an image projection apparatus of the present invention.
FIG. 2 is a diagram illustrating respective coordinate systems in a projection plane, an imaging unit, and a projection unit.
FIG. 3 is a flowchart showing the operation of the image projection apparatus of the present invention.
FIG. 4 is a diagram illustrating an example of a captured image in a calibration mode.
FIG. 5 is a diagram illustrating an example of a projection image.
FIG. 6 is a diagram illustrating an example of an assumed projection image.
FIG. 7 is a diagram showing a projection example when two projection instruction points are arranged.
FIG. 8 is a diagram illustrating a projection example when three projection instruction points are arranged.
FIG. 9 is a diagram illustrating a projection example when four projection instruction points are arranged.
FIG. 10 is a block diagram showing a configuration of an image projection apparatus of the present invention.
FIG. 11 is a diagram illustrating an example of a captured image in a calibration mode.
FIG. 12 is a flowchart showing the operation of the image projection apparatus of the present invention.
FIG. 13 is a block diagram showing a configuration of an image projection apparatus of the present invention.
FIG. 14 is a flowchart showing the operation of the image projection apparatus of the present invention.
FIG. 15 is a diagram illustrating an example of a captured image in a calibration mode.
FIG. 16 is a block diagram showing a configuration of an image projection apparatus of the present invention.
FIG. 17 is a flowchart showing the operation of the image projection apparatus of the present invention.
FIG. 18 is a diagram illustrating an example of projection in a projection mode.
FIG. 19 is a block diagram showing a configuration of an image projection apparatus of the present invention.
FIG. 20 is a diagram illustrating an example of a positional relationship between a projection surface and a projection surface and a projection distortion thereof.
FIG. 21 is a block diagram illustrating a configuration of a conventional image projection apparatus.
FIG. 22 is a flowchart showing the operation of a conventional image projection apparatus.
[Explanation of symbols]
101, 209, 2001, 2101 Projection plane
101a, 211 Measurement points
101b, 208 projection instruction point
102 Imaging unit
103 Mode input section
104 switch
105 A / D converter
106 Image memory
107 Measurement point extraction unit
108, 1303 Imaging surface-screen coordinate conversion parameter estimation unit
109 Projection light vertex extraction unit
110, 1004 screen-projection plane coordinate conversion parameter estimation unit
111, 1304 Projection instruction point coordinate measurement unit
112 memory
113, 2005, 2103 Projection unit
114 Projected image selection unit
115 Assumed projection image generation unit
116 Projected image storage unit
117 Screen-projection surface coordinate conversion unit
201 Screen coordinate system
202 Projector coordinate system
203 Projection plane coordinate system
204 Camera coordinate system
205 Imaging plane coordinate system
206 Projector focal length Fp
207 Camera focal length
210 Projected light contour rectangle
501 Selected image
701, 801 line segment
1001 changeover switch
1002 Projection reference image generator
1003 Projection reference point coordinate extraction unit
1101 Projection reference image
1102 Projection reference point
1301 Projected rectangular surface
1302 Projected rectangular surface vertex extraction points
1601 Peripheral color converter
1901 Half Mirror
2002 Projection lens
2003 Projected surface (liquid crystal panel)
2004 projected image
2102 Computer device

Claims (19)

A measurement point having a predetermined screen coordinate system and defined by the coordinate value of the screen coordinate system, and a projection instruction point defined by the coordinate value of the screen coordinate system and designating the projection position and shape of the projection image An image projection apparatus for projecting an image on a projection plane having
A liquid crystal panel having a predetermined projection surface coordinate system, and projecting means for projecting an image onto the projection surface;
Imaging means for imaging the measurement point on the projection plane, the projection instruction point, and an image projected on the projection plane as a captured image;
An image memory for storing the captured image captured by the imaging means;
Mode input means for outputting a mode selection signal of either calibration mode or projection mode;
Projection parameter estimation means for estimating a conversion parameter between the screen coordinate system and the projection surface coordinate system based on the imaged measurement point and the projection image of the projection means;
A projection instruction point coordinate measuring means for measuring a projection instruction point coordinate from the coordinate value of the projection instruction point;
A memory for storing the conversion parameters and the projection instruction point coordinates;
An assumed projection image generation means for generating an assumed projection image expressed by the screen coordinates by arranging a projection image at a projection position specified by the projection instruction point coordinates stored in the memory;
Screen-projection surface coordinate conversion means for converting the assumed projection image into an image expressed in the projection surface coordinates based on the conversion parameter stored in the memory;
An image projection apparatus comprising: A measurement point having a predetermined screen coordinate system and defined by the coordinate value of the screen coordinate system, and a projection instruction point defined by the coordinate value of the screen coordinate system and designating the projection position and shape of the projection image An image projection apparatus for projecting an image on a projection plane having
A liquid crystal panel having a predetermined projection surface coordinate system, and projecting means for projecting an image onto the projection surface;
Imaging means for imaging the measurement point on the projection plane, the projection instruction point, and an image projected on the projection plane as a captured image;
An image memory for storing the captured image captured by the imaging means;
Mode input means for outputting a mode selection signal of either calibration mode or projection mode;
Projection parameter estimation means for estimating a conversion parameter between the screen coordinate system and the projection surface coordinate system based on the imaged measurement point and the projection image of the projection means;
A projection instruction point coordinate measuring means for measuring a projection instruction point coordinate from the coordinate value of the projection instruction point;
A memory for storing the conversion parameters and the projection instruction point coordinates;
Projection image storage means for storing an image to be projected;
Projection image selection means for selecting an arbitrary projection image from the projection image storage means;
Assumed projection for generating an assumed projection image expressed by the screen coordinates by arranging the projection image selected by the projection image selection means at a projection position specified by the projection instruction point coordinates stored in the memory Image generating means;
Screen-projection surface coordinate conversion means for converting the assumed projection image into an image having a coordinate value of the projection surface coordinate system based on the conversion parameter stored in the memory;
An image projection apparatus comprising: A measurement point having a predetermined screen coordinate system and defined by the coordinate value of the screen coordinate system, and a projection instruction point defined by the coordinate value of the screen coordinate system and designating the projection position and shape of the projection image An image projection apparatus for projecting an image on a projection plane having
A liquid crystal panel having a predetermined projection surface coordinate system, and projecting means for projecting an image onto the projection surface;
Imaging means for imaging the measurement point on the projection plane, the projection instruction point, and an image projected on the projection plane as a captured image;
An image memory for storing the captured image captured by the imaging means;
Mode input means for outputting a mode selection signal of either calibration mode or projection mode;
Projection parameter estimation means for estimating a conversion parameter between the screen coordinate system and the projection surface coordinate system based on the imaged measurement point and the projection image of the projection means;
A projection instruction point coordinate measuring means for measuring a projection instruction point coordinate from the coordinate value of the projection instruction point;
A memory for storing the conversion parameters and the projection instruction point coordinates;
Projection image storage means for storing an image to be projected;
Projection image selection means for selecting an arbitrary projection image from the projection image storage means;
The projection image selected by the projection image selection means or the projection image input from the outside is arranged at the projection position specified by the projection instruction point coordinates stored in the memory, and is expressed by the screen coordinates. Assumed projection image generation means for generating the assumed projection image;
Screen-projection surface coordinate conversion means for converting the assumed projection image into an image having a coordinate value of the projection surface coordinate system based on the conversion parameter stored in the memory;
An image projection apparatus comprising: The projection parameter estimation means includes
Switch means for inputting the captured image captured by the imaging means when a calibration mode is output from the mode input means;
A / D conversion means for analog / digital conversion of the captured image input from the switch;
Measurement point extraction means for extracting the coordinate value of the measurement point in the imaging plane coordinate system defined by the imaging means from the captured image stored in the image memory;
An imaging surface-screen coordinate conversion parameter estimating means for estimating an imaging surface-screen coordinate conversion parameter from a coordinate value in the imaging surface coordinate system of the measurement point and a coordinate value in the screen coordinate system;
The coordinate values in the imaging plane coordinate system of the four vertices of the projection light projected by the projection unit are extracted from the captured image stored in the image memory, and the imaging plane-screen coordinates stored in the memory are extracted. Projection light vertex coordinate extraction means for converting the coordinate values in the imaging plane coordinate system of the four vertices of the projection light into coordinate values in the screen coordinate system and outputting them based on the conversion parameters;
Based on the coordinate value of the screen coordinate system of the four vertices of the projection light and the coordinate value of the projection surface coordinate system of the projection image, the screen—the screen for estimating the projection surface coordinate transformation parameter as the transformation parameter— The image projection apparatus according to claim 1, further comprising: a projection plane coordinate conversion parameter unit. Furthermore, a projection reference image generation unit that generates a reference image projected from the projection unit;
A switching unit that is connected to the first-stage projection unit and switches the reference image and the projection image according to the output mode of the mode input unit;
The image projection apparatus according to claim 1, further comprising: The projection parameter estimation means includes
Switch means for inputting the captured image captured by the imaging means when a calibration mode is output from the mode input means;
A / D conversion means for analog / digital conversion of the captured image input from the switch;
Measurement point extraction means for extracting the coordinate value of the measurement point in the imaging plane coordinate system defined by the imaging means from the captured image stored in the image memory;
An imaging surface-screen coordinate conversion parameter estimating means for estimating an imaging surface-screen coordinate conversion parameter from a coordinate value in the imaging surface coordinate system of the measurement point and a coordinate value in the screen coordinate system;
The coordinate value of the projection reference point in the imaging plane coordinate system is extracted from the projection reference image, and the coordinate value of the projection reference point in the imaging plane coordinate system is extracted by the imaging plane-screen coordinate conversion parameter stored in the memory. Projection reference point coordinate extraction means for converting and outputting the coordinate value of the projection reference point in the screen coordinate system;
A screen-projection surface that estimates a screen-projection surface coordinate conversion parameter as the conversion parameter based on the coordinate value of the screen coordinate system of the projection reference point and the coordinate value of the projection surface coordinate system of the projection image 6. The image projection apparatus according to claim 5, further comprising coordinate conversion parameter means. On the projection plane, a projection rectangular plane whose screen coordinates of each vertex are known is arranged,
The projection parameter estimation means includes
Projected rectangular surface vertex coordinate extraction means for extracting coordinate values by the imaging surface coordinate system of each vertex of the projected rectangular surface from the captured image stored in the image memory;
Imaging surface / screen coordinate conversion for estimating an imaging surface-screen coordinate conversion parameter as a conversion parameter based on a coordinate value in the imaging surface coordinate system of each vertex of the projected rectangular surface and a predetermined coordinate value in the screen coordinate system Parameter estimation means;
With
The projection instruction point coordinate measuring means measures the projection instruction point coordinates with each vertex of the imaged projection rectangular surface as the projection instruction point,
The projection means projects the projection image on the projection rectangular plane;
6. The image projection apparatus according to claim 1, 2, 3 or 5. 8. The image projection apparatus according to claim 1, further comprising peripheral color conversion means for converting a color of a peripheral region other than the projection image region in the captured image region. The image projection apparatus according to claim 8, wherein the peripheral color conversion unit converts a color of a peripheral region other than the projection image region in the captured image region into a color that does not transmit light. The image projection apparatus according to claim 1, further comprising an optical axis matching unit that makes the optical axes of the imaging unit and the projection unit the same. An image projection method for projecting an image onto a projection surface,
Projection is performed on the projection surface provided with the projection instruction point and measurement point,
Photographed so as to include the entire projection area of the projection surface,
A / D conversion of the captured image to generate a digital image,
Extracting the imaging surface coordinates of the measurement point on the projection surface from the digital image,
Based on the imaging surface coordinates of the measurement point, an imaging surface-screen coordinate conversion parameter that is a conversion parameter between the imaging surface coordinates and the screen coordinates is estimated,
Extracting the four vertices of the projection area from the digital image to obtain the imaging surface coordinates of the four vertices;
The imaging plane coordinates of the four vertices of the light projection area are converted into screen coordinates by the imaging plane-screen coordinate conversion parameter,
Based on the screen coordinates, a screen-projection surface coordinate conversion parameter that is a conversion parameter between the screen coordinate system and the projection surface coordinate system is estimated,
Extracting the imaging surface coordinates of the projection instruction point from the digital image,
The imaging surface coordinates of the projection instruction point are converted into screen coordinates using the imaging surface-screen coordinate conversion parameter,
Loading a projection image to generate an assumed projection image having coordinate values in the screen coordinate system;
The projected image is generated by converting the coordinate value of the screen coordinate system of the assumed projected image into the coordinate value of the projected coordinate system by the screen-projected surface coordinate conversion parameter,
By projecting the projection image, a projected image having the same shape as the assumed projection image and having no distortion is formed on the projection plane.
An image projection method characterized by the above. An image projection method for projecting an image onto a projection surface,
Projection is performed on a projection surface provided with a projection instruction point and a projection rectangular surface.
Photographed so as to include the entire projection area of the projection surface,
A / D conversion of the captured image to generate a digital image,
Extracting the imaging plane coordinates of the four vertices of the projected rectangular plane on the projection plane from the digital image,
Based on the imaging surface coordinates of the four vertices of the projected rectangular surface, an imaging surface-screen coordinate conversion parameter that is a conversion parameter between the imaging surface coordinates and the screen coordinates is estimated,
Extracting the four vertices of the projection area from the digital image to obtain the imaging surface coordinates of the four vertices;
The imaging plane coordinates of the four vertices of the light projection area are converted into screen coordinates by the imaging plane-screen coordinate conversion parameter,
Based on the screen coordinates, a screen-projection surface coordinate conversion parameter that is a conversion parameter between the screen coordinate system and the projection surface coordinate system is estimated,
Extracting the imaging surface coordinates of the projection instruction point from the digital image,
The imaging surface coordinates of the projection instruction point are converted into screen coordinates using the imaging surface-screen coordinate conversion parameter,
Loading a projection image to generate an assumed projection image having coordinate values in the screen coordinate system;
The projected image is generated by converting the coordinate value of the screen coordinate system of the assumed projected image into the coordinate value of the projected coordinate system by the screen-projected surface coordinate conversion parameter,
By projecting the projection image, a projected image having the same shape as the assumed projection image and having no distortion is formed on the projection plane.
An image projection method characterized by the above. In the step of obtaining the imaging plane coordinates of the four vertices of the light projection area, a straight line equation of each side of the projection area is obtained by Hough transform, and the intersection of the respective straight lines is taken as an imaging plane of the four vertices of the light projection area The image projection method according to claim 11, wherein the image projection method is obtained as coordinates. An image projection method for projecting an image onto a projection surface,
Projecting a projection reference image having a plurality of projection reference points onto a projection plane;
Photographed to include all the projection reference images of the projection plane,
A / D conversion is performed on the photographed projection reference image to generate a digital image,
Extracting the imaging surface coordinates of the measurement point on the projection surface from the digital image,
Based on the imaging surface coordinates of the measurement point, an imaging surface-screen coordinate conversion parameter that is a conversion parameter between the imaging surface coordinates and the screen coordinates is estimated,
Extracting the plurality of projection reference points from the digital image to obtain imaging plane coordinates of all projection reference points,
The imaging plane coordinates of all the projection reference points are converted into screen coordinates by the imaging plane-screen coordinate conversion parameter,
Based on the screen coordinates, a screen-projection surface coordinate conversion parameter that is a conversion parameter between the screen coordinate system and the projection surface coordinate system is estimated,
Extracting the imaging surface coordinates of the projection instruction point from the digital image,
The imaging surface coordinates of the projection instruction point are converted into screen coordinates using the imaging surface-screen coordinate conversion parameter,
Loading a projection image to generate an assumed projection image having coordinate values in the screen coordinate system;
The projected image is generated by converting the coordinate value of the screen coordinate system of the assumed projected image into the coordinate value of the projected coordinate system by the screen-projected surface coordinate conversion parameter,
By projecting the projection image, a projected image having the same shape as the assumed projection image and having no distortion is formed on the projection plane.
An image projection method characterized by the above. An image projection method for projecting an image onto a projection surface,
Projecting a projection reference image having a plurality of projection reference points onto a projection plane;
Photographed to include all the projection reference images of the projection plane,
A / D conversion is performed on the photographed projection reference image to generate a digital image,
Extracting the imaging surface coordinates of the measurement point on the projection surface from the digital image,
Based on the imaging surface coordinates of the measurement point, an imaging surface-screen coordinate conversion parameter that is a conversion parameter between the imaging surface coordinates and the screen coordinates is estimated,
Extracting the plurality of projection reference points from the digital image to obtain imaging plane coordinates of all projection reference points,
The imaging plane coordinates of all the projection reference points are converted into screen coordinates by the imaging plane-screen coordinate conversion parameter,
Based on the screen coordinates, a screen-projection surface coordinate conversion parameter that is a conversion parameter between the screen coordinate system and the projection surface coordinate system is estimated,
Extracting the imaging surface coordinates of the projection instruction point from the digital image,
The imaging surface coordinates of the projection instruction point are converted into screen coordinates using the imaging surface-screen coordinate conversion parameter,
Loading a projection image to generate an assumed projection image having coordinate values in the screen coordinate system;
The projected image is generated by converting the coordinate value of the screen coordinate system of the assumed projected image into the coordinate value of the projected coordinate system by the screen-projected surface coordinate conversion parameter,
By projecting the projection image, a projected image having the same shape as the assumed projection image and having no distortion is formed on the projection plane.
An image projection method characterized by the above. The step of estimating the screen-projection surface coordinate conversion parameter estimates the screen-projection surface coordinate conversion parameter by the least square method based on the screen coordinates of the four or more projection reference points. The image projection method according to claim 15. The step of estimating the imaging plane-screen coordinate conversion parameter includes the imaging plane-screen coordinate conversion parameter by a least square method based on imaging points of four or more measurement points or four vertices of the projection rectangular plane. The image projection method according to claim 11, wherein the image projection method is estimated. After the step of generating the assumed projection image,
The image projecting method according to claim 11, further comprising a step of converting a color of a part other than the selected image in the assumed projected image. After the step of generating the assumed projection image,
18. The image projecting method according to claim 11, further comprising a step of converting a portion other than the selected image in the assumed projected image into a color that does not transmit light.

Images