JP4099378B2

JP4099378B2 - Projector apparatus, image projecting method, program for the method, and recording medium recording the program

Info

Publication number: JP4099378B2
Application number: JP2002346741A
Authority: JP
Inventors: 憲作藤井; 潤島村; 賢一荒川; 知彦有川
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2002-11-29
Filing date: 2002-11-29
Publication date: 2008-06-11
Anticipated expiration: 2022-11-29
Also published as: JP2004177841A

Description

【０００１】
【発明の属する技術分野】
本発明は、複数の画像を任意の位置に投影するプロジェクタ装置および画像投影方法に関する。
【０００２】
【従来の技術】
従来、画像を任意の位置に投影するプロジェクタ装置に関する装置としては、プラネタリウム等の全周囲投影装置が知られている。また、パノラマ画像等の広視野画像を投影するパノラマ統制装置が提案されている（例えば、特許文献１参照）。このパノラマ投影装置は、双曲面鏡等の凸面鏡を用いることで、投影方向を全周囲に反射し、広視野映像投影を実現している。
【０００３】
このような全周囲投影装置は、一台のプロジェクタ装置で全周囲映像を表示するため、解像度が粗くなり、高精細な映像を表示することは困難であった。
【０００４】
その対策として、パノラマ投影装置に加え、装置に取り付けられた可動型の光学系により、任意の位置に画像を投影する装置が提案されている（例えば、特許文献２参照）。
【０００５】
【特許文献１】
特開昭５９−３１９９４号
【０００６】
【特許文献２】
特開２００２−１１２０９４
【０００７】
【発明が解決しようとする課題】
しかしながら、上記従来技術によれば、可動型の光学系のための駆動装置が必要になり、投影位置を正しい位置に補正するまでの時間を要したり、装置のノッキング状態が続いたりするという問題点を有している。
【０００８】
そのため、その状態で画像を投影すると、非常に見にくく、使い勝手が悪くなってしまう。また、これらの光学系は限定されたものであり、画像の重畳表示など、複数の画像の投影を行うことが困難となってしまうという問題点を有している。
【０００９】
本発明は、上記問題点に鑑みなされたものであり、複数の画像を任意の位置に正確に投影でき、複数の画像を並べ、重ねた投影ができるプロジェクタ装置、画像投影方法、この方法のプログラム、このプログラムを記録した記録媒体を提供することを目的とする。
【００１０】
【課題を解決するための手段】
かかる目的を達成するために、本発明におけるプロジェクタ装置、画像投影方法は、一台の投影装置を有するプロジェクタ装置であって、前記投影装置は、投影画像を任意の領域に投影する画像投影光学系と、前記画像投影光学系を制御し、前記投影画像を投影する領域を制御する投影方向制御部と、前記画像投影光学系の領域を撮影する画像撮像系と、前記投影画像の投影を制御する投影画像制御部と、前記投影画像を補正する投影画像処理部とを備えることを特徴としている。
【００１１】
上記のプロジェクタ装置において、画像投影光学系は、投影装置の光軸に平行及び垂直な軸の少なくとも１つ以上の軸を回転軸とする回転鏡を少なくとも２つ以上有し、投影方向制御部は、回転鏡の回転位置を制御し、投影画像を任意の領域に投影させることを特徴としている。
【００１２】
また、上記のプロジェクタ装置において、画像撮像系は、前記投影装置の光軸と一致する中心軸を有するカメラを有し、このカメラは、画像投影光学系の領域を撮影することを特徴としている。
【００１３】
あるいは、上記のプロジェクタ装置において、投影画像制御部は、画像撮像系にて画像投影光学系の領域を撮影した撮影画像から回転運動に伴う回転鏡のノッキング状態を検出し、投影画像の投影を制御することを特徴としている。
【００１４】
また、上記のプロジェクタ装置において、投影画像処理部は、投影方向制御部で制御している回転鏡の回転状態から算出される複数の投影画像の配置関係に応じて、投影する投影画像を補正することを特徴としている。
【００１５】
本発明では、回転鏡を少なくとも２つ以上有するように構成されることにより、ひとつの投影を複数の投影で構成できるようになり、本来重畳されて見えない情報が一方の投影を手などの遮蔽物で遮蔽することにより、投影画像処理部にフィードバックがかかり、画像が補正されて見ることができるようにし、非常に使い勝手の良い処理を実現する。
【００１６】
また、投影画像を投影する際、回転鏡の回転運動に伴うノッキング状態を検出することにより、可動型の光学系のための駆動装置が有する問題を軽減できるようにし、微動による投影画像が非常に見にくい状態を排除できるようにし、非常に見やすい情報の提示を実現する。
【００１７】
更には、複数の回転鏡の配置状態に応じて投影する画像を補正することにより、投影される画像の情報を並べて利用したり、重ねて利用したりできるようにし、非常に快適な情報の提示を実現する。
【００１８】
以上のことから、本発明は、以下のプロジェクタ装置、画像投影方法、プログラム、記録媒体を特徴とする。
【００１９】
（装置の発明）
（１）一台の投影装置によって投影画像を任意の位置に投影するプロジェクタ装置であって、
２つ以上の回転鏡を有し、前記投影装置による投影画像を任意の領域に投影する画像投影光学系と、
前記画像投影光学系を制御し、前記投影画像を投影する領域を制御する投影方向制御部と、
前記画像投影光学系の領域を撮影する画像撮像系と、
前記投影画像を補正し、前記投影方向制御部へ補正された投影画像を出力する投影画像処理部とを有し、
前記投影画像処理部は、
投影方向制御部から回転鏡の状態を取得する手段と、
撮影画像における各回転鏡に対応する領域を抽出する手段と、
投影画像中の特徴点に対応する撮影画像中の特徴点を抽出する手段と、
投影画像中の特徴点と対応する撮影画像中の特徴点の位置から投影画像の重なりを算出する手段と、
配置関係に基づいて画像種別を包含、重畳、離れているの３種類に分類し、前記算出した投影画像の重なりに対し、撮影画像上の特徴点と投影画像上の特徴点との対応をとることにより、投影画像における重なり領域を抽出し、投影画像からの重なり領域を切り抜き、投影画像が投影されたときに上手く重なるように投影画像を重なり領域に合わせて幾何補正し、投影装置に出力するために統合された投影画像を作成することにより、前記投影画像を補正する手段と、
を有することを特徴とする。
【００２２】
（２）前記画像撮像系にて前記画像投影光学系の領域を撮影した撮影画像から回転運動に伴う回転鏡のノッキング状態を検出し、ノッキングと判断した場合は投影画像の投影を中止する投影画像制御部をさらに有することを特徴とする。
【００２４】
（３）前記画像撮像系は、可視領域の波長を検出および赤外領域の波長を検出するカメラで構成され、
前記画像投影光学系は、該赤外領域の波長をカットするフィルタを含むことを特徴とする。
【００２５】
（方法の発明）
（４）一台の投影装置によって投影画像を任意の位置に投影する画像投影方法であって、
２つ以上の回転鏡を有する画像投影光学系により前記投影装置による投影画像を任意の領域に投影し、
投影方向制御部により前記画像投影光学系を制御し、前記投影画像を投影する領域を制御し、
画像撮像系により前記画像投影光学系の領域を撮影し、
投影画像処理部により、前記投影画像を補正し、前記投影方向制御部へ補正された投影画像を出力し、
前記投影画像処理部は、
投影方向制御部から回転鏡の状態を取得する手順と、
撮影画像における各回転鏡に対応する領域を抽出する手順と、
投影画像中の特徴点に対応する撮影画像中の特徴点を抽出する手順と、
投影画像中の特徴点と対応する撮影画像中の特徴点の位置から投影画像の重なりを算出する手順と、
配置関係に基づいて画像種別を包含、重畳、離れているの３種類に分類し、前記算出した投影画像の重なりに対し、撮影画像上の特徴点と投影画像上の特徴点との対応をとることにより、投影画像における重なり領域を抽出し、投影画像からの重なり領域を切り抜き、投影画像が投影されたときに上手く重なるように投影画像を重なり領域に合わせて幾何補正し、投影装置に出力するために統合された投影画像を作成することにより、前記投影画像を補正する手順と、
を有することを特徴とする。
【００２８】
（５）前記画像撮像系にて前記画像投影光学系の領域を撮影した撮影画像から回転運動に伴う回転鏡のノッキング状態を検出し、ノッキングと判断した場合は投影画像の投影を中止する投影画像制御部をさらに有することを特徴とする。
【００３０】
（６）前記投影画像制御部は、
前記カメラから前記画像投影光学系の領域を撮影した撮影画像を入力する手順と、
撮影画像から微分処理により画像エッジを抽出する手順と、
エッジ画像から前記回転鏡の領域を抽出する手順と、
前フレームの撮影画像を利用して、フレーム間の差分画像を算出する手順と、
差分画像の前記回転鏡の領域に対応する部分から、画像ぶれを判断する手順と、
画像ぶれが生じている場合に、前記投影方向制御部へ、投影画像の投影を中止する投影制御情報を出力する手順と、
を有することを特徴とする。
【００３３】
（７）前記画像撮像系は、可視領域の波長を検出および赤外領域の波長を検出するカメラで構成し、
前記画像投影光学系は、前記カメラで検出する赤外領域の波長をフィルタでカットすることを特徴とする。
【００３４】
（プログラムの発明）
（８）上記（４）〜（７）のいずれか１項に記載の画像投影方法を、コンピュータで実行可能に構成したことを特徴とする。
【００３５】
（記録媒体の発明）
（９）上記（４）〜（７）のいずれか１項に記載の画像投影方法を、コンピュータで実行可能に構成したプログラムを記録したことを特徴とする。
【００３６】
【発明の実施の形態】
以下、本発明の一実施形態を、図面を参照しながら詳細に説明する。
【００３７】
本発明に係るプロジェクタ装置は一台の投影装置を有し、この投影装置は、投影画像を任意の領域に投影する画像投影光学系と、画像投影光学系を制御し、投影画像を投影する領域を制御する投影方向制御部と、画像投影光学系の領域を撮像する画像撮像系と、投影画像の投影を制御する投影画像制御部と、投影画像を補正する投影画像処理部とを有する。
【００３８】
図１は、本発明のプロジェクタ装置を示す構成図である。同図によれば、このプロジェクタ装置は、投影装置１、回転鏡２、投影方向制御部３、カメラ４、投影画像制御部５、投影画像処理部６とを有する。
【００３９】
投影装置１には、液晶プロジェクタなどを用いることができる。この液晶プロジェクタは、２枚の偏光方向が直角に交わる偏光フィルタの間に液晶をはさみこみ、電圧のＯＮ／ＯＦＦにより、液晶分子が通す光と遮断する光を制御して、画像を出力する装置である。
【００４０】
カメラ４には、ＣＣＤ（Charge Cupled Device）カメラなどを利用するとしてよい。これはＣＣＤを撮像素子として用いたカメラであり、投影光学系あるいは投影画像の投影領域が含まれる領域の画像を取得できるように設置される。
【００４１】
回転鏡２は、投影装置１の光軸に平行及び垂直な軸の少なくとも１つ以上の軸に関して回転可能な反射鏡で、画像投影光学系の一部である。回転運動による鏡の向きは、投影方向制御部３で制御され、任意の領域に投影画像を表示する。このとき、光軸に平行な周りの回転によりパン方向の移動が可能であり、もう一方の軸に関する回転によってチルト方向の移動が可能である。回転鏡２、及び投影方向制御部３における２軸制御などは、公知の技術や手法を用いることができる。
【００４２】
投影画像制御部５は、画像撮像系にて画像投影光学系の領域を撮影した撮影画像から回転運動に伴う回転鏡のノッキング状態を検出し、投影画像の投影を制御する。この投影制御の処理手順を、図２を参照しながら説明する。この処理は図２に示す手順で、以下のように行われる。
【００４３】
［ステップ１］カメラから画像投影光学系の領域を撮影した撮影画像を入力する。
【００４４】
［ステップ２］撮影画像から微分処理により画像エッジを抽出する。
【００４５】
［ステップ３］エッジ画像から回転鏡の領域を抽出する。
【００４６】
［ステップ４］前フレームの撮影画像を利用して、フレーム間の差分画像を算出する。
【００４７】
［ステップ５］差分画像の回転鏡の領域に対応する部分から、画像ぶれを判断する。
【００４８】
［ステップ６］画像ぶれが生じている場合に、投影方向制御部へ投影制御情報を出力する。
【００４９】
なお、領域抽出処理は、公知の方法を用いて行うことができ、従来の手法と特に変わるところがないので、ここではその詳細な説明は省略する。また、画像ぶれを判断するための差分画像に対する閾値は、テストパターンによる試行によりあらかじめ決めておくとしてもよいし、照明条件などを検知し、動的に変更される値を利用するとしてもよい。
【００５０】
次に、投影画像処理部６は、投影方向制御部３で制御している回転鏡２の回転状態から算出される複数の投影画像の配置関係に応じて、投影する投影画像を補正する処理である。この処理手順を、図３を参照しながら説明する。この処理は図３に示す手順で、以下のように行われる。
【００５１】
［ステップ１１］投影方向制御部から回転鏡の状態を入力する。
【００５２】
［ステップ１２］撮影画像から投影画像中の特徴点と回転鏡で反射された対応する特徴点を抽出する。
【００５３】
［ステップ１３］特徴点の位置から投影画像の重なりを算出する。
【００５４】
［ステップ１４］配置関係に基づいて画像種別を包含、重畳、離れているの３種類に分類し、投影画像を補正する。
【００５５】
［ステップ１５］投影方向制御部へ補正された投影画像を出力する。
【００５６】
このステップ１２、及びステップ１３の処理について、図４を参照しながら詳細に説明する。説明を分かりやすくするため、投影装置１とカメラ４と回転鏡２および投影面Ｓが図４に示すような構成になっているものとする。
【００５７】
図４において、投影画像が回転鏡２に対して投影され、回転鏡上で特徴点Ｐ、投影面上で特徴点Ｑになっているとする。回転鏡２は理想的な全反射面ではないため、この様子をカメラ４で撮影すると、これらの特徴点は、Ｐ’（点Ｐと同じ）、Ｑ’として抽出可能である。この２点の位置ずれは奥行き（ここでは、カメラから投影面までの距離）に関係するので，投影される領域を算出することができる。
【００５８】
また、ステップ１４の投影画像の補正処理では、その配置関係により、きれいに並列できるように画像を補正、及び重なっている領域が多重に投影されないように画像を補正することが行われる。図３のステップ１４の詳細は図５に示す以下の手順で行われる。
【００５９】
［ステップ２１］図３のステップ１３で算出した投影画像の重なりを入力する。
【００６０】
［ステップ２２］投影面上の点と投影画像上の点との対応をとることにより、投影画像における重なり領域を抽出する。
【００６１】
［ステップ２３］投影画像からの重なり領域を切り抜く。
【００６２】
［ステップ２４］投影画像が上手く重なるように投影画像を重なり領域に合わせてアフィン変換等により幾何補正する。
【００６３】
［ステップ２５］投影装置に出力するために統合された投影画像を作成する。
【００６４】
以降では、上述した処理手順を実際のデータに即して、具体的に説明する。投影画像制御部５での処理結果の例を図６に示す。まず、撮影画像に対して、エッジ画像５０１を生成する。回転鏡２とカメラ４の配置関係はあらかじめ分かっているので、撮影画像中のどこの領域にいくつの回転鏡があるかを知ることができる。この考え方を基に、このエッジ画像５０１から回転鏡２の領域５０２を抽出する。こうして抽出された領域に対して、前フレームの撮影画像で同様に処理された結果と比較することにより、画像ぶれを検出する。このとき、フレーム間差分画像を算出すると５０３に示すようになったとして、右側の領域に示す回転鏡がノッキングしていると判断され、この回転鏡に投影される画像の投影が行われなくなる。
【００６５】
次に、投影画像処理部６での処理結果の例を図７〜図１２に示す。いま、図７の６０１に示すような画像を２つの回転鏡を利用して、投影する場合を考える。図５を用いて説明した処理により、投影される領域が６０２に示すように算出されたとする。この場合、投影される領域が重なっているので、補正処理なしに投影すると上手く投影できないことになる。補正処理が行われない場合、図８の７０１に示すような２つの投影画像になる。これをそのまま投影すると、７０２に示すように重なる領域ができ、正確に情報を提示することができない。そのため、図９の８０１に示すような投影画像の補正を行うことにより、８０２に示すように正確な情報提示が可能となる。
【００６６】
次に、図１０に示すような２つの画像１０１（全体地図）と画像１０２（全体地図から切り出した地域の天気予報地図）を２つの回転鏡を利用して、図１１に示すように投影する場合を考える。この例では、図１１の９０１に示すように、投影領域が完全に包含されており、補正処理なしに投影すると、２つの画像が重なり、上手く投影できない。このときは重なっている領域が多重に投影されないように画像を補正、すなわち、一方の画像において、図１２のように、元の画像１０２から重なり領域を切り抜き、図１１の９０２に示すように地図上にきれいに情報（ここでは、天気予報文字）を重ね合わせて表示することを実現する。
【００６７】
図１３は、本発明の他のプロジェクタ装置を示す構成図である。同図によれば、このプロジェクタ装置は、投影装置１、回転鏡２、投影方向制御部３、可視光カメラ４Ａ、赤外光カメラ４Ｂ、投影画像制御部５、投影画像処理部６、フィルタ７とを有する。
【００６８】
このプロジェクタ装置では、画像投影光学系に赤外領域をカットするフィルタ７を備えることにより、赤外領域の波長を検出するカメラ４Ｂにおいては、投影装置１から出射される強い光の散乱光等のノイズ光の影響を受けることなく、回転鏡２や遮蔽物のみを精度よく検出することができる。この場合、可視領域の波長を検出するカメラ４Ａにおいては、投影画像のみを検出すればよく、２台のカメラ４Ａ，４Ｂで役割を分担することが可能となる。
【００６９】
なお、例えば、マルチスペクトルカメラのような赤外領域の波長と可視領域の波長とを分離して検出することができるカメラを用いれば、必ずしも２台のカメラを備えなくても、本実施形態と同様の作用効果を得ることができる。
【００７０】
なお、図１で示した処理の各部の一部もしくは全部の処理機能を、コンピュータを用いて実現できること、あるいは、図２、図３、図５で示した処理手順をコンピュータに実行させることができることは言うまでもなく、コンピュータでその各部の処理機能を実現するためのプログラム、あるいは、コンピュータにその処理手順を実行させるためのプログラムを、そのコンピュータが読み取ら可能な記録媒体、例えば、ＦＤ（フレキシブルディスク）や、ＭＯ，ＲＯＭ、メモリカード、ＣＤ，ＤＶＤ、リムーバルディスクなどに記録して、保存したり、提供したりすることが可能であり、また、インターネットのような通信ネットワークを通じて、配布したりすることが可能である。
【００７１】
以上、本発明を実施形態例に基づき具体的に説明したが、本発明は上記の実施形態例に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。
【００７２】
【発明の効果】
本発明によれば、回転鏡を少なくとも２つ以上有するように構成されることにより、ひとつの投影を複数の投影で構成できるようになり、本来重畳されて見えない情報が一方の手などの遮蔽物で遮蔽することにより、投影画像処理部にフィードバックがかかり、画像が補正され、見ることができるようにし、非常に使い勝手の良い処理を実現できる効果が得られる。
【００７３】
また、投影画像を投影する際、回転鏡の回転運動に伴うノッキング状態を検出することにより、可動型の光学系のための駆動装置が有する問題を軽減できるようにし、微動による投影画像が非常に見にくい状態を排除できるようにし、非常に見やすい情報の提示を実現できる効果が得られる。
【００７４】
更には、複数の回転鏡の配置状態に応じて投影する画像を補正することにより、投影される画像の情報を並べて利用したり、重ねて利用したりできるようにし、非常に快適な情報の提示を実現できる効果が得られる。
【図面の簡単な説明】
【図１】本発明の実施形態におけるプロジェクタ装置を示す構成図。
【図２】図１に示した各部の処理フロー。
【図３】図１に示した各部の処理フロー。
【図４】本発明の実施形態における装置方向と投影位置の状態図。
【図５】図３における投影画像の補正処理の詳細を示す処理フロー。
【図６】本発明の実施形態における投影例を説明するための図。
【図７】本発明の実施形態における投影例を説明するための図。
【図８】本発明の実施形態における投影例を説明するための図。
【図９】本発明の実施形態における投影例を説明するための図。
【図１０】本発明の実施形態における投影例を説明するための図。
【図１１】本発明の実施形態における投影例を説明するための図。
【図１２】本発明の実施形態における投影例を説明するための図。
【図１３】本発明の他の実施形態におけるプロジェクタ装置を示す構成図。
【符号の説明】
１…投影装置
２…回転鏡
３…投影方向制御部
４…カメラ
４Ａ…可視光カメラ
４Ｂ…赤外光カメラ
５…投影画像制御部
６…投影画像処理部
７…フィルタ[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a projector apparatus and an image projection method for projecting a plurality of images at arbitrary positions.
[0002]
[Prior art]
Conventionally, as an apparatus related to a projector apparatus that projects an image at an arbitrary position, an all-around projection apparatus such as a planetarium is known. In addition, a panorama control device that projects a wide-field image such as a panorama image has been proposed (see, for example, Patent Document 1). This panorama projection apparatus uses a convex mirror such as a hyperboloidal mirror to reflect the projection direction to the entire periphery, thereby realizing wide-field image projection.
[0003]
Such an omnidirectional projection device displays an omnidirectional image with a single projector device, so that the resolution becomes coarse and it is difficult to display a high-definition image.
[0004]
As a countermeasure, in addition to the panorama projection apparatus, an apparatus that projects an image at an arbitrary position using a movable optical system attached to the apparatus has been proposed (for example, see Patent Document 2).
[0005]
[Patent Document 1]
JP 59-31994 [0006]
[Patent Document 2]
JP2002-1112094
[0007]
[Problems to be solved by the invention]
However, according to the above prior art, a drive device for the movable optical system is required, and it takes time to correct the projection position to the correct position, or the device is continuously knocked. Has a point.
[0008]
Therefore, if an image is projected in this state, it is very difficult to see and the usability is deteriorated. Further, these optical systems are limited, and have a problem that it is difficult to project a plurality of images such as superimposed display of images.
[0009]
The present invention has been made in view of the above problems, and a projector apparatus, an image projection method, and a program for this method that can accurately project a plurality of images to an arbitrary position, and can arrange and superimpose a plurality of images. An object of the present invention is to provide a recording medium on which the program is recorded.
[0010]
[Means for Solving the Problems]
In order to achieve the above object, a projector apparatus and an image projection method according to the present invention are projector apparatuses having a single projection apparatus, and the projection apparatus projects an image onto an arbitrary area. A projection direction control unit that controls the image projection optical system and controls a region where the projection image is projected; an image imaging system that captures a region of the image projection optical system; and controls projection of the projection image A projection image control unit and a projection image processing unit for correcting the projection image are provided.
[0011]
In the above projector apparatus, the image projection optical system has at least two or more rotating mirrors whose rotation axes are at least one axis parallel to and perpendicular to the optical axis of the projection apparatus, and the projection direction control unit includes The rotation position of the rotary mirror is controlled, and the projected image is projected onto an arbitrary area.
[0012]
In the above projector apparatus, the image capturing system includes a camera having a central axis that coincides with the optical axis of the projection apparatus, and this camera captures an area of the image projection optical system.
[0013]
Alternatively, in the projector device described above, the projection image control unit detects the knocking state of the rotary mirror accompanying the rotational movement from the captured image obtained by photographing the area of the image projection optical system in the image imaging system, and controls the projection of the projection image. It is characterized by doing.
[0014]
In the projector device, the projection image processing unit corrects the projection image to be projected according to the arrangement relationship of the plurality of projection images calculated from the rotation state of the rotary mirror controlled by the projection direction control unit. It is characterized by that.
[0015]
In the present invention, by having at least two rotating mirrors, one projection can be composed of a plurality of projections, and information that is originally superimposed and cannot be seen is shielded from one projection. By shielding with an object, feedback is applied to the projection image processing unit so that the image can be corrected and viewed, and processing that is very easy to use is realized.
[0016]
In addition, when projecting a projected image, the knocking state associated with the rotational movement of the rotary mirror is detected, so that the problems of the drive device for the movable optical system can be reduced, and the projected image due to fine movement is very It is possible to eliminate difficult-to-see conditions and to provide information that is very easy to see.
[0017]
Furthermore, by correcting the projected image according to the arrangement state of a plurality of rotary mirrors, it is possible to use the information of the projected image side by side or to use it in a superimposed manner, and to present very comfortable information Is realized.
[0018]
As described above, the present invention is characterized by the following projector device, image projection method, program, and recording medium.
[0019]
(Invention of the device)
(1) A projector device that projects a projection image on an arbitrary position by a single projection device,
An image projection optical system that has two or more rotating mirrors and projects a projection image by the projection device onto an arbitrary region;
A projection direction control unit for controlling the image projection optical system and controlling a region for projecting the projection image;
An image capturing system for capturing an area of the image projection optical system;
A projection image processing unit that corrects the projection image and outputs the corrected projection image to the projection direction control unit;
The projection image processing unit
Means for acquiring the state of the rotary mirror from the projection direction control unit;
Means for extracting a region corresponding to each rotary mirror in the captured image;
Means for extracting feature points in the captured image corresponding to feature points in the projected image ;
Means for calculating the overlap of the projected images from the positions of the feature points in the captured image corresponding to the feature points in the projected image;
Based on the arrangement relationship, the image types are classified into three types including inclusion, superimposition, and separation, and the feature points on the captured image and the feature points on the projection image are associated with the calculated overlap of the projection images. Thus, the overlapping area in the projected image is extracted, the overlapping area is cut out from the projected image , and the projected image is geometrically corrected according to the overlapping area so as to overlap well when the projected image is projected, and is output to the projection apparatus. Means for correcting the projected image by creating an integrated projected image for:
It is characterized by having.
[0022]
(2) the projected image the knocking state of the rotating mirror to detect with images by the imaging system to the rotational motion from the photographed image obtained by photographing a region of the image projection optical system, when it is determined that knocking to stop the projection of the projection image It further has a control part .
[0024]
( 3 ) The image capturing system includes a camera that detects a wavelength in the visible region and detects a wavelength in the infrared region,
The image projection optical system includes a filter that cuts the wavelength in the infrared region.
[0025]
(Invention of method)
(4) An image projection method for projecting a projection image to an arbitrary position by a single projection device,
Projecting an image projected by the projection device onto an arbitrary region by an image projection optical system having two or more rotating mirrors,
Controlling the image projection optical system by a projection direction control unit, controlling a region to project the projection image,
Photographing the area of the image projection optical system by an image capturing system,
The projection image processing unit corrects the projection image, and outputs the corrected projection image to the projection direction control unit.
The projection image processing unit
A procedure for acquiring the state of the rotary mirror from the projection direction control unit,
A procedure for extracting a region corresponding to each rotary mirror in the captured image;
A procedure for extracting feature points in a captured image corresponding to feature points in a projected image ;
A procedure for calculating the overlap of the projected image from the position of the feature point in the captured image corresponding to the feature point in the projected image;
Based on the arrangement relationship, the image types are classified into three types including inclusion, superimposition, and separation, and the feature points on the captured image and the feature points on the projection image are associated with the calculated overlap of the projection images. Thus, the overlapping area in the projected image is extracted, the overlapping area is cut out from the projected image , and the projected image is geometrically corrected according to the overlapping area so as to overlap well when the projected image is projected, and is output to the projection apparatus. Correcting the projected image by creating an integrated projected image for:
It is characterized by having.
[0028]
(5) the projection image the knocking state of the rotating mirror to detect with images by the imaging system to the rotational motion from the photographed image obtained by photographing a region of the image projection optical system, when it is determined that knocking to stop the projection of the projection image It further has a control part .
[0030]
(6) The projection image control unit
A procedure for inputting a captured image obtained by capturing an area of the image projection optical system from the camera;
A procedure for extracting image edges from the captured image by differential processing;
A procedure for extracting the area of the rotating mirror from an edge image;
A procedure for calculating a difference image between frames using a captured image of the previous frame;
A procedure for determining image blur from a portion corresponding to the area of the rotary mirror of the difference image;
A procedure of outputting projection control information for stopping projection of a projection image to the projection direction control unit when image blurring occurs;
It is characterized by having.
[0033]
( 7 ) The image capturing system includes a camera that detects wavelengths in the visible region and detects wavelengths in the infrared region,
The image projection optical system is characterized in that a wavelength in an infrared region detected by the camera is cut by a filter.
[0034]
(Invention of the program)
( 8 ) The image projection method according to any one of (4) to (7) is configured to be executable by a computer.
[0035]
(Invention of recording medium)
( 9 ) A program configured to execute the image projection method according to any one of (4) to (7 ) above by a computer is recorded.
[0036]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, an embodiment of the present invention will be described in detail with reference to the drawings.
[0037]
The projector apparatus according to the present invention includes a single projection apparatus, and the projection apparatus controls an image projection optical system that projects a projection image onto an arbitrary area, and an area that projects the projection image. A projection direction control unit that controls the image, an image imaging system that captures an area of the image projection optical system, a projection image control unit that controls projection of the projection image, and a projection image processing unit that corrects the projection image.
[0038]
FIG. 1 is a configuration diagram showing a projector apparatus of the present invention. As shown in the figure, the projector device includes a projection device 1, a rotary mirror 2, a projection direction control unit 3, a camera 4, a projection image control unit 5, and a projection image processing unit 6.
[0039]
The projector 1 can be a liquid crystal projector or the like. This liquid crystal projector is an apparatus that outputs an image by sandwiching liquid crystal between two polarizing filters whose polarization directions intersect at right angles and controlling the light that is passed through and blocked by liquid crystal molecules by turning the voltage on and off. is there.
[0040]
The camera 4 may be a CCD (Charge Cupled Device) camera or the like. This is a camera using a CCD as an image sensor, and is installed so that an image of a region including a projection optical system or a projection region of a projection image can be acquired.
[0041]
The rotary mirror 2 is a reflecting mirror that is rotatable about at least one of the axes parallel and perpendicular to the optical axis of the projection apparatus 1 and is a part of the image projection optical system. The direction of the mirror due to the rotational motion is controlled by the projection direction control unit 3, and a projection image is displayed in an arbitrary region. At this time, movement in the pan direction is possible by rotation around the optical axis, and movement in the tilt direction is possible by rotation about the other axis. For the biaxial control in the rotary mirror 2 and the projection direction control unit 3, known techniques and methods can be used.
[0042]
The projection image control unit 5 detects the knocking state of the rotary mirror accompanying the rotational movement from the captured image obtained by photographing the area of the image projection optical system by the image pickup system, and controls the projection of the projection image. The projection control processing procedure will be described with reference to FIG. This process is performed as follows in the procedure shown in FIG.
[0043]
[Step 1] A photographed image obtained by photographing the area of the image projection optical system is input from the camera.
[0044]
[Step 2] Image edges are extracted from the captured image by differential processing.
[0045]
[Step 3] Extract a rotating mirror region from the edge image.
[0046]
[Step 4] Using the captured image of the previous frame, a difference image between frames is calculated.
[0047]
[Step 5] Image blur is determined from the portion of the difference image corresponding to the area of the rotary mirror.
[0048]
[Step 6] When image blurring has occurred, projection control information is output to the projection direction control unit.
[0049]
Note that the region extraction processing can be performed using a known method, and there is no particular difference from the conventional method, and thus detailed description thereof is omitted here. Further, the threshold value for the difference image for determining the image blur may be determined in advance by a trial using a test pattern, or a value that is dynamically changed by detecting an illumination condition or the like may be used.
[0050]
Next, the projection image processing unit 6 is a process for correcting the projection image to be projected according to the arrangement relationship of the plurality of projection images calculated from the rotation state of the rotary mirror 2 controlled by the projection direction control unit 3. is there. This processing procedure will be described with reference to FIG. This process is performed as follows in the procedure shown in FIG.
[0051]
[Step 11] The state of the rotary mirror is input from the projection direction control unit.
[0052]
[Step 12] Extract feature points in the projected image and corresponding feature points reflected by the rotary mirror from the captured image.
[0053]
[Step 13] The overlap of the projected images is calculated from the position of the feature point.
[0054]
[Step 14] Based on the arrangement relationship, the image types are classified into three types including inclusion, superposition, and separation, and the projection image is corrected.
[0055]
[Step 15] The corrected projection image is output to the projection direction controller.
[0056]
The processing of step 12 and step 13 will be described in detail with reference to FIG. For easy understanding, it is assumed that the projection apparatus 1, the camera 4, the rotary mirror 2, and the projection surface S are configured as shown in FIG.
[0057]
In FIG. 4, it is assumed that a projected image is projected onto the rotary mirror 2 and is a feature point P on the rotary mirror and a feature point Q on the projection plane. Since the rotary mirror 2 is not an ideal total reflection surface, when this state is photographed by the camera 4, these feature points can be extracted as P ′ (same as the point P) and Q ′. Since the misalignment between the two points is related to the depth (here, the distance from the camera to the projection plane), the projected area can be calculated.
[0058]
Moreover, in the correction process of the projected image in step 14, the image is corrected so that it can be neatly arranged according to the arrangement relationship, and the image is corrected so that overlapping regions are not projected in multiple. Details of step 14 in FIG. 3 are performed by the following procedure shown in FIG.
[0059]
[Step 21] The overlap of the projection images calculated in Step 13 of FIG. 3 is input.
[0060]
[Step 22] The overlapping area in the projection image is extracted by taking correspondence between the point on the projection surface and the point on the projection image.
[0061]
[Step 23] The overlapping region from the projected image is cut out.
[0062]
[Step 24] The projected images are geometrically corrected by affine transformation or the like in accordance with the overlapping region so that the projected images overlap well.
[0063]
[Step 25] Create an integrated projection image for output to the projection apparatus.
[0064]
In the following, the processing procedure described above will be specifically described in accordance with actual data. An example of a processing result in the projection image control unit 5 is shown in FIG. First, an edge image 501 is generated for a captured image. Since the positional relationship between the rotary mirror 2 and the camera 4 is known in advance, it is possible to know how many rotary mirrors exist in which region in the captured image. Based on this concept, the region 502 of the rotary mirror 2 is extracted from the edge image 501. Image blurring is detected by comparing the region extracted in this manner with the result of the same processing on the captured image of the previous frame. At this time, if the inter-frame difference image is calculated, it is determined as indicated by 503, and it is determined that the rotating mirror shown in the right region is knocked, and the image projected on the rotating mirror is not projected.
[0065]
Next, examples of processing results in the projection image processing unit 6 are shown in FIGS. Consider a case where an image as shown by 601 in FIG. 7 is projected using two rotary mirrors. Assume that the projected area is calculated as indicated by 602 by the processing described with reference to FIG. In this case, since the projected areas are overlapped, if the projection is performed without correction processing, the projection cannot be performed well. When the correction process is not performed, two projection images as shown by 701 in FIG. 8 are obtained. If this is projected as it is, an overlapping area is created as shown at 702, and information cannot be presented accurately. Therefore, by correcting the projection image as indicated by 801 in FIG. 9, accurate information can be presented as indicated by 802.
[0066]
Next, two images 101 (overall map) and image 102 (regional weather forecast map cut out from the entire map) as shown in FIG. 10 are projected as shown in FIG. 11 using two rotary mirrors. Think about the case. In this example, as indicated by reference numeral 901 in FIG. 11, the projection area is completely included, and if projection is performed without correction processing, the two images overlap and cannot be projected well. At this time, the image is corrected so that the overlapping region is not projected multiple times, that is, in one image, the overlapping region is cut out from the original image 102 as shown in FIG. 12, and a map is displayed as indicated by 902 in FIG. It is possible to display information (weather forecast characters here) superimposed and displayed cleanly on top.
[0067]
FIG. 13 is a block diagram showing another projector apparatus according to the present invention. According to the figure, the projector device includes a projection device 1, a rotary mirror 2, a projection direction control unit 3, a visible light camera 4A, an infrared light camera 4B, a projection image control unit 5, a projection image processing unit 6, and a filter 7. And have.
[0068]
In this projector device, the image projection optical system is provided with the filter 7 that cuts the infrared region, so that the camera 4B that detects the wavelength in the infrared region has a strong scattered light emitted from the projection device 1 and the like. Only the rotary mirror 2 and the shielding object can be accurately detected without being affected by noise light. In this case, in the camera 4A that detects the wavelength in the visible region, it is only necessary to detect the projection image, and the roles can be shared between the two cameras 4A and 4B.
[0069]
Note that, for example, if a camera capable of separately detecting the wavelength in the infrared region and the wavelength in the visible region, such as a multispectral camera, is used, the present embodiment does not necessarily include two cameras. Similar effects can be obtained.
[0070]
In addition, a part or all of the processing functions of each part of the processing shown in FIG. 1 can be realized by using a computer, or the processing procedure shown in FIGS. 2, 3, and 5 can be executed by the computer. Needless to say, a program for realizing the processing function of each part by the computer or a program for causing the computer to execute the processing procedure is a recording medium that can be read by the computer, such as an FD (flexible disk) or the like. , MO, ROM, memory card, CD, DVD, removable disk, etc., can be stored, provided, or distributed through a communication network such as the Internet Is possible.
[0071]
Although the present invention has been specifically described above based on the embodiment, it is needless to say that the present invention is not limited to the above embodiment and can be variously modified without departing from the gist thereof. Absent.
[0072]
【The invention's effect】
According to the present invention, by being configured to have at least two rotating mirrors, one projection can be configured by a plurality of projections, and information that is originally superimposed and cannot be seen is blocked by one hand or the like. By shielding with an object, feedback is applied to the projection image processing unit so that the image can be corrected and viewed, and an effect of realizing extremely easy-to-use processing can be obtained.
[0073]
In addition, when projecting a projected image, the knocking state associated with the rotational movement of the rotary mirror is detected, so that the problems of the drive device for the movable optical system can be reduced, and the projected image due to fine movement is very This makes it possible to eliminate the state of being difficult to see and to realize the presentation of very easy-to-see information.
[0074]
Furthermore, by correcting the projected image according to the arrangement state of a plurality of rotary mirrors, it is possible to use the information of the projected image side by side or to use it in a superimposed manner, and to present very comfortable information The effect that can be realized is obtained.
[Brief description of the drawings]
FIG. 1 is a configuration diagram illustrating a projector device according to an embodiment of the invention.
FIG. 2 is a processing flow of each unit shown in FIG.
3 is a processing flow of each unit shown in FIG.
FIG. 4 is a state diagram of an apparatus direction and a projection position in the embodiment of the present invention.
FIG. 5 is a processing flow showing details of the projection image correction processing in FIG. 3;
FIG. 6 is a diagram for explaining an example of projection in the embodiment of the present invention.
FIG. 7 is a diagram for explaining an example of projection in the embodiment of the present invention.
FIG. 8 is a diagram for explaining an example of projection in the embodiment of the present invention.
FIG. 9 is a diagram for explaining an example of projection in the embodiment of the present invention.
FIG. 10 is a diagram for explaining an example of projection in the embodiment of the present invention.
FIG. 11 is a diagram for explaining an example of projection in the embodiment of the present invention.
FIG. 12 is a diagram for explaining an example of projection in the embodiment of the present invention.
FIG. 13 is a configuration diagram showing a projector apparatus according to another embodiment of the present invention.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 ... Projection apparatus 2 ... Rotating mirror 3 ... Projection direction control part 4 ... Camera 4A ... Visible light camera 4B ... Infrared light camera 5 ... Projection image control part 6 ... Projection image processing part 7 ... Filter

Claims

A projector device that projects a projection image on an arbitrary position by a single projection device,
An image projection optical system that has two or more rotating mirrors and projects a projection image by the projection device onto an arbitrary region;
A projection direction control unit for controlling the image projection optical system and controlling a region for projecting the projection image;
An image capturing system for capturing an area of the image projection optical system;
A projection image processing unit that corrects the projection image and outputs the corrected projection image to the projection direction control unit;
The projection image processing unit
Means for acquiring the state of the rotary mirror from the projection direction control unit;
Means for extracting a region corresponding to each rotary mirror in the captured image;
Means for extracting feature points in the captured image corresponding to feature points in the projected image ;
Means for calculating the overlap of the projected images from the positions of the feature points in the captured image corresponding to the feature points in the projected image;
Based on the arrangement relationship, the image types are classified into three types including inclusion, superimposition, and separation, and the feature points on the captured image and the feature points on the projection image are associated with the calculated overlap of the projection images. Thus, the overlapping area in the projected image is extracted, the overlapping area is cut out from the projected image , and the projected image is geometrically corrected according to the overlapping area so as to overlap well when the projected image is projected, and is output to the projection apparatus. Means for correcting the projected image by creating an integrated projected image for:
A projector apparatus comprising:

A projection image control unit that detects a knocking state of the rotary mirror accompanying a rotational movement from a captured image obtained by photographing the region of the image projection optical system in the image imaging system, and stops projecting the projection image when it is determined that knocking is detected; The projector according to claim 1, further comprising:

The imaging system is composed of a camera that detects wavelengths in the visible region and detects wavelengths in the infrared region,
The projector apparatus according to claim 1, wherein the image projection optical system includes a filter that cuts a wavelength in the infrared region.

An image projection method for projecting a projection image to an arbitrary position by a single projection device,
Projecting an image projected by the projection device onto an arbitrary region by an image projection optical system having two or more rotating mirrors,
Controlling the image projection optical system by a projection direction control unit, controlling a region to project the projection image,
Photographing the area of the image projection optical system by an image capturing system,
The projection image processing unit corrects the projection image, and outputs the corrected projection image to the projection direction control unit.
The projection image processing unit
A procedure for acquiring the state of the rotary mirror from the projection direction control unit,
A procedure for extracting a region corresponding to each rotary mirror in the captured image;
A procedure for extracting feature points in a captured image corresponding to feature points in a projected image ;
A procedure for calculating the overlap of the projected image from the position of the feature point in the captured image corresponding to the feature point in the projected image;
The image types are classified into three types including inclusion, superimposition, and separation based on the arrangement relationship, and the feature points on the photographed image and the feature points on the projection image are associated with the calculated overlap of the projection images. Thus, the overlapping area in the projected image is extracted, the overlapping area is cut out from the projected image , and the projected image is geometrically corrected according to the overlapping area so as to overlap well when the projected image is projected, and is output to the projection apparatus. Correcting the projected image by creating an integrated projected image for:
An image projection method comprising:

A projection image control unit that detects a knocking state of the rotary mirror accompanying a rotational movement from a captured image obtained by photographing the region of the image projection optical system in the image imaging system, and stops projecting the projection image when it is determined that knocking is detected; The image projection method according to claim 4, further comprising:

The projection image control unit
A procedure for inputting a captured image obtained by capturing an area of the image projection optical system from the camera;
A procedure for extracting image edges from the captured image by differential processing;
A procedure for extracting the area of the rotating mirror from an edge image;
A procedure for calculating a difference image between frames using a captured image of the previous frame;
A procedure for determining image blur from a portion corresponding to the area of the rotary mirror of the difference image;
A procedure of outputting projection control information for stopping projection of a projection image to the projection direction control unit when image blurring occurs;
The image projection method according to claim 5, further comprising:

The image capturing system is configured with a camera that detects wavelengths in the visible region and detects wavelengths in the infrared region,
The image projection method according to claim 4, wherein the image projection optical system cuts a wavelength in an infrared region detected by the camera with a filter.

8. A program configured to execute the image projection method according to claim 4 on a computer.

A recording medium on which a program configured to execute the image projection method according to any one of claims 4 to 7 by a computer is recorded.