JP3880582B2

JP3880582B2 - 複数のカメラを備えたプロジェクタ

Info

Publication number: JP3880582B2
Application number: JP2004037054A
Authority: JP
Inventors: 寿和青柳
Original assignee: Ｎｅｃビューテクノロジー株式会社
Priority date: 2004-02-13
Filing date: 2004-02-13
Publication date: 2007-02-14
Anticipated expiration: 2024-02-13
Also published as: US20050179875A1; JP2005229415A; US7226173B2

Description

本発明はプロジェクタに関し、特に投射された画像を撮像することができる複数のカメラを備えたプロジェクタに関する。

近年、プロジェクタの改良が進んで色々な使われ方が行なわれるようになってきている。そのためにはプロジェクタを簡単に最適の条件で設置できることが望まれ、そのためには、投射画像を鮮明にするためにフォーカスを調整したり、あるいは画像のあおり投射、または投射対象物の表面の形状により生ずる投射画像の歪みを補正したりする必要がある。

フォーカス調整のための距離計測装置としては、所定の周波数で変調された発光量の可変な複数の光を測定対象物表面に照射し、一定方向の光のみを検出できる検出素子でその反射光を検出して、そこから得られる位相情報から距離情報を取得する光学形状センサが開示されている（特許文献１参照）。

投射画像の歪み補正方法としては、プロジェクタの据付角度の検出手段とプロジェクタと投射対象と間の距離を検出する距離検出手段を有し、両検出結果から算出された角度によって液晶表示ユニットの角度を調整する方法が開示されている（特許文献２参照）。

また、液晶プロジェクタ本体の前面の異なる位置に複数の距離センサを設け、制御マイコンがこれらの検出結果に基づきスクリーンに対する本体の傾斜角を算出し、傾斜角に基づいて投射画面の台形歪とは逆の台形歪となるように各ラインの画素データの間引き調整を行う台形歪装置が開示されている（特許文献３参照）。
特開２００３−４２７３３号公報特開平９−２８１５９７号公報特開２０００−１２２６１７号公報

投射画像を鮮明にするためにフォーカスを調整したり、あるいは画像のあおり投射、または投射対象物の表面の形状により生ずる投射画像の歪みを補正するための方法では操作が面倒であったり時間がかかったりするという問題がある。

特許文献１に記載の方法では、フォーカス調整は自動的に行うことができるが、それ以外の調整には他の手段を併用する必要がある。特許文献２、特許文献３の方法では、投射画像の歪みの補正は自動的に行うことができるが、それ以外の調整には他の手段を併用する必要がある。

また、プロジェクタを用いてプレゼンテーションを行う際に、画面が大きい場合にはスクリーンなどの投射対象物の前に説明者が立って説明を行うことが必要な場合も生ずるが、その場合にプロジェクタの強い光が説明者の目に入って眩しさを感じることが問題となっている。

さらに、プレゼンテーションを行う場面では、プレゼンテーションに合わせて投射画像を更新したり画面に書き込みを行ったりする必要が生ずることが多いが、従来はリモコンやマウスでその操作を行っているために、スクリーンの前に立ってプレゼンテーションをしながら操作を行うのは容易ではなかった。

従来、１つのカメラを用いて投射画像の投射位置や歪みを補正する方法が行われているが、投射対象物を平面と仮定しており投射対象物がスクリーンの場合にその外形しか検出できなかったため、投射対象物が曲面などのように平面でないときは正しく投射画像の歪み補正ができず対応できなかった。また、スクリーンの外形をもとに判断するだけでその距離を検出することができず、フォーカス調整、投射対象物の前にいる人物の検出、投射対象物の表面を触れたことの検出は別の方法でそれぞれ行う必要があった。

本発明の目的は、複数のカメラを設けるだけで、フォーカス調整やあおり投射や投射対象物の表面の形状により生ずる投射画像の歪みの補正が行え、スクリーンがある場合にはその外形に投射画像を合わせる形で補正ができるプロジェクタを提供することにある。

さらに人物に当たる光だけをマスクして眩しさを感じないようにでき、指先や差し棒などでスクリーンなどの投射対象物の表面に触れた座標を検出することにより、アイコンなどを投射しそれを指し示すことによりプロジェクタにそのアイコンに応じた動作を行わせたり、その座標に沿って描画させたりすることができるプロジェクタを提供することにある。

本発明の複数のカメラを備えたプロジェクタは、
投射レンズを有する投影装置と、投射レンズのフォーカスを調整するフォーカス調整部と、投射レンズのズームを調整するズーム調整部と、投射対象物の画像を撮像可能な複数のカメラを有する撮像部と、ズーム調整部で検出されたズーム位置から投射レンズからの距離に応じた投射範囲を算出する投射エリア算出部と、複数のカメラの撮像画面と投射エリア算出部で算出された投射範囲とから複数のカメラの撮像画面内の同一の対象点を対応させて所定の対象点の３次元位置を検出する３次元位置検出部と、所定の対象点の３次元位置から対象点までの距離を検出する距離検出部と、さらに、３次元位置検出部で検出された複数の所定の対象点の３次元位置からそれぞれの対象点までの距離を検出して二次元に配置する投射面検出部を有し、対象点は投影装置により投射対象物上に面状に投射された複数の所定のパターンであり、投射面検出部の複数の対象点までの距離に基づいて距離検出部で算出された平均距離に基づいて、投射レンズのフォーカスがフォーカス調整部によって調整され、さらに、投射対象物に投射されている投射画像の所定の領域と投影装置との間に介在する所定の形状の障害物を指差し指令として検知する指差し位置検出部を有し、対象点は投射対象物に投射されている投射画像上で２次元的に指定されており、指差し位置検出部は投射面検出部によって対象点までの距離を比較し、短い距離で所定の形状で配置されている複数の対象点のグループを抽出して指差し指令と定義し、グループの２次元位置を取得して画像情報を生成する画像情報生成部に出力し、画像情報生成部は入力した２次元位置から指差し指令の内容を読み出して指令に対応した処理を行って対応する情報を画像情報に付加して画像制御部に出力する。

対象点は投影装置により投射対象物の中央部近傍に投射された所定のパターンであり、投射レンズのフォーカスが、距離検出部で検出された対象点までの距離によってフォーカス調整部によって調整されてもよい。

さらに、投射画像の歪みの補正値を計算する歪み補正計算部を有し、歪み補正計算部が投射面検出部の複数の対象点までの距離に基づいて、距離の相違に基づく投射画像の歪みを補正するための歪み補正係数を算出し、画像制御部が歪み補正係数により投影装置に入力する投射画像を補正してもよい。

投射画像の歪みの補正値を計算する歪み補正計算部を有し、投射対象物はスクリーンであり、対象点はスクリーンと背景との境界線および投影装置によってスクリーンに投射される投射画像の外形線であり、その投射画像の外形線がスクリーンと背景との境界線に対応するように、歪み補正計算部が投射面検出部の検出結果に基づいて投影装置に入力する投射画像の歪み補正係数を算出し、画像制御部が歪み補正係数により投射画像を補正してもよい。

さらに、投射対象物に投射されている投射画像と投影装置との間に介在する人物を含む障害物を検知し、その障害物上に投射される投射画像をマスクするための情報を生成する人物検出・マスク位置計算部を有し、対象点は投射対象物に投射されている投射画像上に２次元的に指定されており、人物検出・マスク位置計算部は投射面検出部によって対象点までの距離を比較し、短い距離で配置されている２次元的に配置された複数の対象点のグループを抽出して人物を含む障害物と定義し、グループの２次元位置を取得し、画像制御部は投射画像の２次元位置に対応する部分の画像を所定の色調に変換して投影装置から投射してもよい。

撮像部は２個のカメラを有していてもよく、あるいは３個のカメラを有していてもよく、３次元位置検出部における対象点の３次元位置の検出は、複数のカメラで撮像された同一の対象点のカメラの素子面の位置とカメラのレンズの位置との関係から三角測量の原理で検出されてもよい。

複数のカメラを備えることにより撮像対象物の３次元位置を検出することができ、この３次元位置検出手段から投射対象物の位置、表面形状、投射対象物がスクリーンの場合にはその外形、および、投射対象物の前にいる人物、投射対象物の表面を触れたことを検出することができる。

本発明には、次のような効果がある。即ち、
第１の効果は、投射対象物までの距離を検出してフォーカス調整を行い、投射対象物の位置、表面形状、および投射対象物がスクリーンである場合はその外形を検出し、投射対象物に画像を投射した際にあおり投射や投射対象物の表面の形状により生じる投射画像歪みを補正し、投射対象物がスクリーンである場合にはその外形に投射画像を合わせることができることである。これは、複数のカメラで撮像することにより撮像対象物の３次元位置を検出することができるからである。

第２の効果は、同一の対象点の検出の誤動作を防止できることである。これは、複数のカメラの撮像画像から同一の対象点を検出する手段において、プロジェクタの投射エリアを参照して投射対象物に投射された所定のパターンのそれぞれのカメラの撮像画像中の位置の範囲、および大きさの範囲から求めるからである。

第３の効果は、はじめにフォーカスがずれていても他のフォーカス調整手段を使用せずに投射画像歪み補正が行えることでる。これは、はじめに投射画像の中央部にフォーカスが合うように調整し、投射対象物の位置、表面形状、スクリーンがある場合はその外形などを検出した後にその平均距離にフォーカスが合うように調整するからである。

第４の効果は、投射対象物の前に立っている人物を検出して眩しくないように人物の動きに追従した形で人物に投射される部分をマスクできることである。これは、複数のカメラで撮像することにより撮像対象物の３次元位置が検出でき、投射対象物を検出できるので、プロジェクタと投射対象物の間にいる人物などを検出できるからである。

第５の効果は、アイコンなどを投射しそれを指し示すことによりプロジェクタにそのアイコンに応じた動作を行わせたり、その座標に沿って描画させたりすることができることである。これは、複数のカメラで撮像することにより撮像対象物の３次元位置が検出でき、投射対象物を検出できるので、投射対象物の表面を指先や差し棒で触れた座標を検出できるからである。

本発明による複数のカメラを備えたプロジェクタは、プロジェクタの投射方向に向けて備えられていて、プロジェクタから投射された画像を撮像することができる複数のカメラで撮像された画像から、三角測量の原理で撮像対象物の３次元位置を検出する手段を具備したプロジェクタである。

撮像対象物の３次元位置を基にプロジェクタから画像が投射されている投射対象物までの距離を取得することによってフォーカス調整を行うことができ、また、投射対象物の位置、表面形状、および、投射対象物がスクリーンである場合はその外形を検出することができる。

さらに、投射対象物に画像を投射した際に、あおり投射や投射対象物の表面の形状によって生ずる投射画像の歪みを補正し、投射対象物がスクリーンである場合にはその外形に投射画像の大きさを合わせる手段も備えている。

複数のカメラの撮像画像から同一の対象点を検出するステレオマッチング回路においては、プロジェクタの投射エリアを参照して投射対象物に投射された所定のパターンのそれぞれのカメラの撮像画像中の位置の範囲、および、大きさの範囲から同一の対象点を検出することにより誤動作を防止できる手段を備えている。

はじめに投射画像の中央部にフォーカスが合うように調整し、投射対象物の位置、表面形状、投射対象物がスクリーンである場合にはその外形などを検出した後にその平均距離にフォーカスが合うように調整する手段を備えている。

さらに、投射対象物の前に人物が立ったときに、その人物の動きに追従した形でその人物が眩しさを感じないように投射画像の中で人物に当たる部分だけをマスクすることにより人物に眩しさを感じさせないようにでき、また、指先や差し棒などで触れた投射対象物の表面の座標を検出することによって画面にアイコンなどを投射し、それを差し示すことによりプロジェクタにそのアイコンに応じた動作を行わせたり、その座標に沿って描画させたりすることができる。

先ず、本発明の複数のカメラを備えたプロジェクタの第１の実施の形態の構成について説明する。図１は本発明のプロジェクタの実施の形態の模式的ブロック構成図であり、図２は第１の実施の形態の回路の構成を示す模式的ブロック構成図である。

プロジェクタ４０は、投射レンズ１と表示装置を有する投影装置１０１、投射レンズのフォーカスを調整するフォーカス調整部１０２、投射レンズのズームを調整するズーム調整部１０３、投射する画像の制御を行う画像制御部１０４、外部のパソコン１５１などとも接続して画像を生成する画像情報生成部１０５、複数のカメラを有する撮像部１１１、ズーム位置から投射エリアを算出する投射エリア算出部１１２、カメラの画像と投射エリアとから対象の３次元位置を検出する３次元位置検出部１２１、対象との距離を検出する距離検出部１２２、画像面内の人物を検出してマスク位置を計算する人物検出・マスク位置計算部１２３、投射面の形状を３次元で検出する投射面検出部１２４、投射面の形状の検出結果から画面の歪を補正するための補正値を算出する歪補正計算部１２５、画像情報生成部１０５に所定の動作を指示するために画像面の指差し位置を検出する指差し位置検出部１２６、投射面に投影するための所定のテストパターンを生成するテストパターン生成部１３１、および各部の動作を制御する中央処理装置１４１を備えている。

次に各部を構成する回路について説明する。投影装置１０１は、フォーカス用、ズーム用レンズを含むプロジェクタ４０の投射レンズ１、表示装置を構成する投射回路３４を有する。

フォーカス調整部１０２は、投射レンズ１のフォーカスレンズ部を駆動するためのフォーカスレンズ駆動モータ２、投射レンズのフォーカスレンズ部の回転位置を検出するためのフォーカスレンズ位置センサ３、フォーカスレンズ位置センサ３で検出された信号からフォーカスレンズの位置を検出するフォーカスレンズ位置検出回路６、およびフォーカスレンズ駆動モータ２を駆動するためのフォーカスレンズ駆動回路７と、距離検出部１２２の平均距離検出回路２５で検出された平均距離、または、距離検出部１２２の中央距離検出回路２６で検出された中央距離においてフォーカスが合うようにフォーカスレンズを制御するフォーカスレンズ制御回路２７とを有し、フォーカスレンズ駆動回路７には、フォーカスレンズを駆動するためのフォーカスレンズ駆動入力１０が入力される。

ズーム調整部１０３は、投射レンズ１のズームレンズ部を駆動するためのズームレンズ駆動モータ４、投射レンズのズームレンズ部の回転位置を検出するためのズームレンズ位置センサ５、ズームレンズ位置センサ５で検出された信号からズームレンズの位置を検出するズームレンズ位置検出回路８、およびズームレンズ駆動モータ４を駆動するためのズームレンズ駆動回路９を有し、ズームレンズ駆動回路９には、ズームレンズを駆動するためのズームレンズ駆動入力１１が入力される。

画像制御部１０４は、投射画像入力２３から入力した投射画像に、歪補正係数算出回路２２での算出結果によって投射画像入力２３が投射対象物に投射されたときの画像歪みを補正する画像歪み補正回路２４と、人物マスク位置計算回路２９の計算結果により、画像歪み補正回路２４から出力される投射画像中の人物の位置に投射されるエリアをマスクする画像マスク回路３０、画像マスク回路３０からの出力とテストパターン生成部１３１の表示用パターン生成回路３１からの出力とを切り替える切替回路３２とを有し、切替回路３２は投射画像切替信号入力３３からの入力により切り替えられる。

撮像部１１１は、プロジェクタに内蔵されたカメラ１３とカメラ１４、カメラ１３の光学的歪みを補正するための光学的歪み補正回路１５、カメラ１４の光学的歪みを補正するための光学的歪み補正回路１６を有する。

投射エリア算出部１１２は、ズームレンズ位置検出回路８で検出されたズーム位置から投射エリア、すなわち、プロジェクタ４０からの距離に応じた投射範囲を算出する投射エリア算出回路１２を有する。

３次元位置検出部１２１は、２つのカメラで撮像された画像中の同一の対象点を投射エリア算出回路１２で算出された投射エリアを参照して検出できるステレオマッチング回路１７、カメラ１３とカメラ１４の２つのカメラの画像中の同一の対象点のカメラのセンサ素子面上の物理的な位置とセンサ素子面上におけるカメラのレンズの間隔と２つのカメラの位置、およびそれぞれのカメラの向きから三角測量の原理により対象点の３次元位置を検出する３次元位置検出回路１８、３次元位置検出回路１８で検出された３次元位置を格納するための３次元位置メモリ回路１９を有する。

距離検出部１２２は、投射エリア算出回路１２で算出された投射エリアを参照して３次元位置検出回路１８で検出された３次元位置の中央の距離を検出する中央距離検出回路２６、および投射面検出結果レジスタ２１の投射面検出結果と投射エリア算出回路１２で算出された投射エリアとから投射対象物上の投射された画像が表示される部分の平均距離を検出する平均距離検出回路２５とを有する。

人物検出・マスク位置検出部１２３は、３次元位置検出回路１８の３次元位置検出結果と３次元位置メモリ回路１９に格納された３次元位置、および、投射面検出結果レジスタ２１に格納された投射面検出結果から投射対象物の前に立っている人物を検出する人物検出回路２８、人物検出回路２８の人物検出結果と投射エリア算出回路１２の投射エリアから、画像制御部１０４の画像歪補正回路２４から出力される投射画像の中の人物に投射されるエリアを計算する人物マスク位置計算回路２９とを有する。

投射面検出部１２４は、３次元位置検出回路１８の３次元位置検出結果から投射対象物の位置、表面形状、および、投射対象物がスクリーンである場合にはその外形を検出する投射面検出回路２０、投射面検出回路２０の投射面検出結果を格納するための投射面検出結果レジスタ２１とを有する。

歪み補正計算部１２５は、投射面検出結果レジスタ２１に格納されている投射面検出結果と投射エリア算出回路１２で算出された投射エリアの相対的位置関係から投射対象物に投射したときに生じる画像歪みを補正するための係数を計算する歪み補正係数算出回路２２を有する。

指差し位置検出部１２６は、投射面検出結果レジスタ２１に格納された投射面検出結果と投射エリア算出回路１２で算出された投射エリアから、投射対象物を触れた指先や差し棒を検出する指差し検出回路３５を有し、指差し検出回路３５で検出された投射対象物を触れた指先や差し棒の投射画像上での指差し位置は、指差し座標として指差し座標出力部３６から例えば画像情報生成部１０５に出力されて所定の処理が行なわれる。

テストパターン生成部１３１は、投射対象物の３次元位置を検出するために投射する所定のパターンを生成する表示用パターン生成回路３１を有し、生成された表示用パターンは画像制御部１０４の切替回路３２を経由して投影装置１０１から投射対象物に投射される。

次に、本発明の複数のカメラを備えたプロジェクタの第１の実施の形態の動作について説明する。図３は第１の実施の形態の複数のカメラを備えたプロジェクタからスクリーンに画像投射した状態を示す模式図であり、図４は曲面スクリーンに左斜め前から画像投射したときのスクリーンが、原点が投射中心点である座標系上で示されている模式図であり、図５はフォーカス調整用パターンの１例を示す模式図であり、図６は図４においてフォーカス調整用パターンを投射したときの模式図であり、図７はズーム比が最小と最大の場合の投射エリアを示す模式図であり、図８は投射中心点を通る光軸をＺ軸とし、光軸上のＣ点を通るＸ−Ｙ平面と曲面スクリーンとパターンとの関係を立体化した模式図であり、図９は３次元位置検出の原理を説明するための模式図であり、図１０は投射面検出用パターンの１例を示す模式図であり、図１１は図４において投射面検出用パターンを投射したときの模式図であり、図１２は投射中心点を通る光軸をＺ軸とし、光軸上のＣ点を通るＸ−Ｙ平面と曲面スクリーンとパターンとの関係を立体化した模式図であり、図１３は図１２中の投射面検出用パターンの３次元位置を補完した曲面を示す模式図である。

第１の実施の形態を、図４の曲面スクリーンに左斜め前から画像を投射した場合を参照しながら説明すると、図４に示すようにスクリーンがある場合にはプロジェクタの投射表示画面全体がスクリーンを覆うようにプロジェクタを設置しておく。はじめにプロジェクタを設置したときは多くの場合フォーカスがあっていない状態であるため、フォーカスを調整するために表示用パターン生成回路３１により中央だけに１つのパターンがあるフォーカス調整用パターン、例えば図５に示すパターンを生成し、表示用パターン生成回路３１で生成したフォーカス調整用パターンが投射回路３４と投射レンズ１を通して投射されるように投射画像切替信号入力３３によって切替回路３２を表示用パターン生成回路３１側に切り替える。このとき、フォーカス調整用パターンが図４のスクリーンに投射された様子は図６に示すようになり、フォーカスずれのためにぼけたフォーカス調整用パターン５６が表示される。パターンの形状は図５に示すパターンに限定されるものではない。

図６に示すようにフォーカス調整用パターン４６が投射されると、投射対象物に投射されたフォーカス調整用パターン５６をカメラ１３およびカメラ１４で撮像し、それぞれの撮像画像におけるカメラの光学的歪みを、光学歪み補正回路１５および光学歪み補正回路１６にて補正した後、光学歪み補正回路１５、１６でカメラの光学的歪みを補正した２つの撮像画像をステレオマッチング回路１７において比較し、撮像画像中の同一の対象点を検出する。２つの撮像画像中のフォーカス調整用パターン５６については、ズーム位置検出回路８で検出されるズームレンズ位置から、既知であるズーム比−ズームレンズ位置の関係を用いて求められるズーム比により、投射エリア算出回路１２において算出した、プロジェクタからの距離に応じた投射範囲である投射エリア５１を参照して検出する。なお、プロジェクタの投射エリア５１は、例えば、図７に示すようにズーム比によってそのエリアがズーム比最大時の投射エリア４２からズーム比最小時の投射エリア４３まで変化する。フォーカス調整用パターン５６の寸法や位置関係は既知で、カメラの位置、方向、撮像エリアが既知であるため投射エリアを参照することで、２つの撮像画像中のフォーカス調整用パターン５６の位置の範囲、および、大きさの範囲がわかるため、撮像画像中の他の点とフォーカス調整用パターンを同一対象点として誤って検出することを防ぐことができる。

このとき、同一の対象点の検出対象としては、テストパターン生成部１３１の表示用パターン生成回路３１で生成され投射された例えば中央だけに１つのパターンがあるフォーカス調整用パターン、投射対象物がスクリーンである場合はその外形、およびその他の背景などが含まれる。

３次元位置検出回路１８で撮像画像上のそれぞれの同一対象点をカメラのセンサ素子面上の物理的な位置に変換し、センサ素子面とカメラのレンズとの間隔、２つのカメラの位置、および、それぞれのカメラの向きから三角測量の原理により、その対象点の３次元位置を検出する。図６の曲面スクリーン５２にフォーカス調整用パターン５６を表示したときに検出される３次元位置は、視覚的見易さから図６のＣ点にＸ−Ｙ平面を設定し下向きにＺ軸をとると図８に示すようになる。

このとき、撮像画像中のある同一の対象点に対するそれぞれの位置関係は図９のようになる。図９で三角測量を説明すると、対象点Ｐをカメラ１４のレンズ６１を通してカメラ１４で撮像したときのカメラ１４素子面６０上の対象点の位置がＰ₁、対象点Ｐをカメラ１３のレンズ６３を通してカメラ１３で撮像したときのカメラ１３の素子面６２上の対象点の位置がＰ₂となるが、このとき、Ｐ₁とＰ₂の物理的位置、すなわち、例えば図においてカメラ素子面の中心を原点としてΔＸ₁、ΔＹ₁、ΔＸ₂、ΔＹ₂がわかればカメラ素子面とレンズとの間隔ｄ₁、ｄ₂、カメラの３次元位置と向きから三角測量の原理より対象点Ｐの３次元位置（Ｘ_P、Ｙ_P、Ｚ_P）がわかる。

３次元位置が検出されると、中央距離検出回路２６で３次元位置検出回路１８の検出結果と投射エリア算出回路１２において検出される投射エリアとから中央の３次元位置検出結果、すなわち、投射対象物上に投射されたパターン５６の３次元位置を検出しそのＺ成分を投射対象物の中央距離とする。

こうして中央距離が検出されると、投射距離−フォーカスレンズ位置の関係は既知であるので、フォーカスレンズ制御回路２７が、中央距離検出回路２６で検出した投射対象物の中央距離に対応するフォーカスレンズ位置を求め、求められるフォーカスレンズ位置が中央距離になるように、フォーカスレンズ位置検出回路６でフォーカスレンズ駆動回路７を制御してフォーカスレンズ駆動モータ２を回転させることにより中央距離にフォーカスを合わせる。この間、フォーカスレンズ駆動回路７ではフォーカスレンズ駆動入力１０からの駆動信号は無視し、フォーカスレンズ制御回路２７の出力にのみ従ってフォーカスレンズ駆動モータ２を駆動する。

次に、投射対象物に投射された画像の歪みを補正するために、テストパターン生成部１３１の表示用パターン生成回路３１により投射面検出用のパターン、例えば図１０に示すパターンを生成し、投射回路３４と投射レンズ１とを通して投射する。このとき、投射面検出用パターン４７が図４のスクリーンに投射された状態は図１１に示すようになる。パターンの形状は図１０の形状に限定されるものではなく例えばクロスハッチ（格子）パターンであってもよい。

上述のフォーカス調整と同様に、投射面検出用パターン４７が投射されると、投射対象物に投射された投射面検出用パターン５７をカメラ１３およびカメラ１４で撮像し、それぞれの撮像画像におけるカメラの光学的歪みを、光学歪み補正回路１５および光学歪み補正回路１６にて補正した後、光学歪み補正回路１５、１６でカメラの光学的歪みを補正した２つの撮像画像をステレオマッチング回路１７において比較し、撮像画像中の同一の対象点を検出する。２つの撮像画像中の投射面検出用パターン５７については、フォーカス調整と同様にズーム位置検出回路８で検出されるズームレンズ位置から、既知であるズーム比−ズームレンズ位置の関係を用いて求められるズーム比により、投射エリア算出回路１２において算出した、プロジェクタからの距離に応じた投射範囲である投射エリア５１を参照して検出する。投射面検出用パターンの寸法や配列関係は既知で、カメラの位置、方向、撮像エリアが既知であるため投射エリアを参照することで、２つの撮像画像中の投射面検出用パターンの位置の範囲、および、大きさの範囲がわかるため撮像画像中の他の点と投射面検出用パターンを同一対象点として誤検出すること、および、投射面検出用パターンの違うパターン同士を同一対象点として誤検出することを防ぐことができる。

このとき、同一の対象点の検出対象としては、テストパターン生成部１３１の表示用パターン生成回路３１で生成されて投射回路３４を経由して投射された投射面検出用パターン、投射対象物がスクリーンである場合はその外形、および、その他の背景などが含まれる。

３次元位置検出回路１８で撮像画像上の各同一対象点をカメラのセンサ素子面上の物理的な位置に変換し、センサ素子面とカメラのレンズの間隔、２つのカメラの３次元位置、および、それぞれのカメラの向きから三角測量の原理により、その対象点の３次元位置を検出する。図１１の曲面スクリーン５２に投射面検出用パターン５７を表示したときに検出される３次元位置は、視覚的見易さから図１１のＣ点にＸ−Ｙ平面を設定し下向きにＺ軸をとると図１２に示すようになる。

次に、３次元位置検出回路１８での３次元位置検出結果を３次元位置メモリ回路１９に格納し、投射面検出回路２０で３次元位置検出回路１８の３次元位置検出結果中における表示した投射面検出用パターン５７のそれぞれの３次元位置から投射対象物の位置、表面形状を検出し、また、投射対象物がスクリーンである場合はその外形を検出し、その結果を投射面検出結果レジスタ２１に格納する。このとき、図１２の３次元位置から検出されるスクリーンを３次元位置で示すと図１３のようになり、表面形状は図１２中の投射面検出用パターン５７の３次元位置を補完した曲面５９となる。

歪み補正係数算出回路２２では、投射面検出結果レジスタ２１に格納された投射対象物の位置、表面形状、投射対象物がスクリーンである場合にはその外形と投射エリア算出回路１２からの投射エリアとの相対的位置関係から、投射対象物に投射したときに生じる画像の歪みを補正するために必要な係数を計算する。

画像制御部１０４の画像歪み補正回路２４では、歪み補正係数算出回路２２の補正係数算出結果により、投射された画像が投射対象物の表面形状に合った形で、投射対象物がスクリーンである場合はスクリーン形状に合った形で投射画像入力２３の歪みを補正し、投射画像切替信号入力３３により切替回路３２を画像マスク回路３０側に切り替え、画像歪み補正回路２４の出力が、画像マスク回路３０、投射回路３４、投射レンズ１を通して投射される。このとき、画像マスク回路３０はマスクが設定されておらず投射画像入力３３に画像歪み補正がかかった画像がそのまま投射される。

図１４は、画像歪み補正の例を示す模式図であり、（ａ−１）、（ａ−２）は平面の投射対象物に向かって左から投射したとき、（ｂ−１）、（ｂ−２）は円柱形の投射対象物に正面から投射したとき、（ｃ−１）、（ｃ−２）はスクリーンに向かって左から投射したときである。図１４を参照して説明すると、投射する画像７３、８０、８７がそれぞれ歪み補正を施していない画像７４、８１、８８で投射されると、投射対象物に投射されたときの画像７０，７６，８３はそれぞれひずみ補正を施していない画像７１、７７、８４に示すようになるが、本発明では投射対象物の位置、表面形状、スクリーンがある場合にはその外形を検出し画像歪み補正回路２４により、投射する画像７３、８０、８７を歪み補正を施した画像７５，８２，８９のように補正して投射することにより、投射対象物に投射されたときの画像７０，７６，８３はそれぞれを歪み補正を施した画像７２，７８，８５に示すように歪みが取り除かれた状態で投射できる。また、スクリーンに投射した場合には画像８５に示すようにスクリーンの外形に合わせる形で補正することができる。

一方、距離検出部１２２の平均距離検出回路２５では投射面検出結果レジスタ２１に格納された投射対象物の位置、表面形状、投射対象物がスクリーンである場合にはその外形と、投射エリア算出回路２１で算出された投射エリアとから、画像歪み補正２４で画像歪み補正されて投射された画像が投射対象物上に表示される部分の平均距離を検出する。

こうして平均距離が検出されると、投射距離−フォーカスレンズ位置の関係は既知であるので、フォーカスレンズ制御回路２７が、平均距離検出回路２５で検出した投射対象物の平均距離に対応するフォーカスレンズ位置を求め、フォーカスレンズ位置検出回路６で求められるフォーカスレンズ位置が平均距離になるように、フォーカスレンズ駆動回路７を制御してフォーカス駆動モータ２を回転させることにより平均距離にフォーカスを合わせる。この間、フォーカスレンズ駆動回路７ではフォーカスレンズ駆動入力１０からの駆動信号は無視し、フォーカスレンズ制御回路２７の出力にのみ従ってフォーカスレンズ駆動モータ２を駆動する。

図１５は、スクリーン形状による中央距離と平均距離との関係を示す模式図であり、（ａ）は平面スクリーンの場合、（ｂ）は曲面スクリーンの場合である。図１５に示すように投射対象物が平面スクリーン９０の場合は、はじめに検出した中央距離と平均距離とは一致するが、平面でない場合、例えば曲面スクリーン９１などの場合は中央距離と平均距離は一致しないが平均距離にフォーカスを合わせた方が投射画像中のフォーカスずれが最大になる部分のずれ量が最小になりフォーカス感がよくなる。

なお、投射対象物はスクリーンであったり、壁であったり、または、平面ではない物体であったりするが、投射対象物が平面のスクリーンであると限定されている場合には、スクリーンの外形が撮像できればよいので図１０に示す投射面検出用パターン４７を用いる必要はなく、例えば、スクリーンの周囲が明るくスクリーン自体をカメラが撮像できる場合には投射面検出用パターン４７の投射自体が必要なく、スクリーンの周囲が暗くスクリーン自体をカメラが撮像できない場合には投射面検出用パターン４７でなくスクリーンを照射する目的の全白パターンの投射でもよい。さらに、この場合、スクリーン外形の３次元位置からスクリーンまでの距離、すなわち、この場合は中心距離＝平均距離がわかるのでフォーカス調整パターン４６を使用した中央距離の検出は必要なくなり、スクリーンの外形を検出するだけで画像歪み補正とフォーカス調整が１回の撮像と３次元位置検出とで行うことができる。

以上で、プロジェクタの設置に関する調整は終了し、通常使用状態での人物検出、および、指差し検出を行う。人物検出、および、指差し検出は撮像を繰り返して行って以下の処理を行う。

投射画像入力２３を投射している通常の使用状態で投射画像をカメラ１３およびカメラ１４で撮像し、それぞれの撮像画像のカメラの光学的歪みを光学歪み補正回路１５および光学歪み補正回路１６によって補正した後、ステレオマッチング回路１７において光学歪み補正回路１５、１６でカメラの光学的歪みを補正した２つの撮像画像を比較して、撮像画像の中の同一の対象点を検出する。

３次元位置検出回路１８で撮像画像上の各同一対象点をカメラのセンサ素子面上の物理的な位置に変換し、センサ素子面とカメラのレンズの間隔、２つのカメラの３次元位置、および、それぞれのカメラの向きから三角測量の原理によりその対象点の３次元位置を検出する。

図１６は図４において曲面スクリーンの前に人物が立ったときの模式図であり、図１７は投射中心点を通る光軸をＺ軸とし、光軸上のＣ点を通るＸ−Ｙ平面と曲面スクリーンと人物との関係を立体化した模式図である。図４の曲面スクリーン５２の前に人物が立ったときの様子は人物を平面に見立てると図１６に示すようになり、その３次元位置は視覚的見易さから図１６のＣ点にＸ−Ｙ平面を設定し、下向きにＺ軸をとると図１７に示すようになる。

次に人物検出回路２８で３次元位置検出結果と投射面検出を行ったときに３次元位置メモリ回路１９に格納された３次元位置検出結果、および、投射面検出結果レジスタ２１の結果を比較し、３次元位置メモリ回路１９に格納された３次元位置、および、投射対象物の表面よりも手前、すなわち、プロジェクタに近い側にある障害物を人物として検出する。

前記人物の位置が検出されると、人物マスク位置計算回路２９で投射エリア算出回路１２の結果から投射画像における検出した障害物の位置を算出し、画像マスク回路３０において人物マスク位置計算回路２９で算出した投射画像における検出した障害物の部分をマスク、例えば、黒レベルにする。図１６のマスクエリア５４がマスクする領域であり、人物に見立てた平面に光が当たる部分の投射画像をマスクする。

したがって、投射画像入力２３は投射されたときに生ずる歪みを画像歪み補正２４で補正され、投射対象物より前にある障害物の部分が画像マスク回路３０でマスクされ、投射回路３４、投射レンズ１を通して投射される。この結果、投射対象物の前に立っている人物などには光がほとんど当たらず、すなわち、黒レベルに相当する光しか当たらず眩しさを感じることがなくなる。この人物検出は繰り返し行われる撮像のたびに行われるため、人物の動きに追従する形でマスク位置を変え、常に人物に光が当たらないようにすることができる。

さらに、指差し位置検出部１２６の指差し検出回路３５で３次元位置検出結果と投射面検出結果レジスタ２１に格納された投射面検出結果とを比較し、投射対象物の表面の位置にある指先や差し棒などの物体を検出し、投射エリア算出回路１２の投射エリアとの相対的関係から算出した投射画像上の座標を指差し座標とし、例えばプロジェクタ４０が有する不図示のプレゼンテーション機能や、画像情報生成部１０５を経由してプロジェクタ４０に接続されているパソコン１５１に指差し座標出力３６として出力する。

この座標を利用することにより、例えばプレゼンテーション機能からＰＣカードに格納されたデータを表示させたり、パソコン１５１から画像情報生成部１０５を経由してアイコン等を投射対象面に投射させたりし、さらにそれを指し示すことによりそのアイコンに応じた動作、例えば、プレゼンテーション画面のページ送り、部分拡大、スクロールなどを行わせることができ、また、投射画像に指差し座標に沿って線を描くことにより描画が行うこともできる。

次に、本発明の複数のカメラを備えたプロジェクタの第２の実施の形態について説明する。図１８は第２の実施の形態の回路の構成を示す模式的ブロック構成図である。

第１の実施の形態では撮像部１１１のカメラと光学的歪み補正回路が２組であったが、第２の実施の形態ではカメラと光学的歪み補正回路が３組となった以外は第１に実施の形態と同じなので、同じ構成要素については同一の符号を付して説明を省略する。

図１８では、図２に比べ搭載するカメラ３７と光学的歪み補正回路３８が追加され、カメラの数が３個になっている。カメラの数が増えるとカメラの死角が減ってより正確な３次元位置の計測が行える。図１９は投射対象面の前に人物がいる場合の上部から見たマスク状態を示す模式図である。図１９で説明すると、カメラ１３とカメラ１４の２つのカメラで３次元位置計測を行う場合、Ａ点は検出できるがＢ点はカメラ１４の死角になるので検出することができない。この結果、人物検出を行い投射画像をマスクする場合、カメラ１３とカメラ１４の２つのカメラではＡ点とＤ点を検出しマスク部分５６をマスクすることになり、マスクされない非マスク部分５８が生じる。

これに対し、２つのカメラに加えて第３のカメラ３７を備えるとＢ点を検出することができるのでマスク部分５７をマスクすることができ、非マスク部分５８が生じないためより精度よくマスクをすることができる。

本発明のプロジェクタの実施の形態の模式的ブロック構成図である。第１の実施の形態の回路の構成を示す模式的ブロック構成図である。第１の実施の形態の複数のカメラを備えたプロジェクタからスクリーンに画像投射した状態を示す模式図である。曲面スクリーンに左斜め前から画像投射したときのスクリーンが、原点が投射中心点である座標系上で示されている模式図である。フォーカス調整用パターンの１例を示す模式図である。図４においてフォーカス調整用パターンを投射したときの模式図である。ズーム比が最小と最大の場合の投射エリアを示す模式図である。投射中心点を通る光軸をＺ軸とし、光軸上のＣ点を通るＸ−Ｙ平面と曲面スクリーンとパターンとの関係を立体化した模式図である。３次元位置検出の原理を説明するための模式図である。投射面検出用パターンの１例を示す模式図である。図４において投射面検出用パターンを投射したときの模式図である。投射中心点を通る光軸をＺ軸とし、光軸上のＣ点を通るＸ−Ｙ平面と曲面スクリーンとパターンとの関係を立体化した模式図である。図１２中の投射面検出用パターンの３次元位置を補完した曲面を示す模式図である。画像歪み補正の例を示す模式図である。（ａ−１）、（ａ−２）は平面の投射対象物に向かって左から投射したときである。（ｂ−１）、（ｂ−２）は円柱形の投射対象物に正面から投射したときである。（ｃ−１）、（ｃ−２）はスクリーンに向かって左から投射したときである。スクリーン形状による中央距離と平均距離との関係を示す模式図である。（ａ）は平面スクリーンの場合である。（ｂ）は曲面スクリーンの場合である。図４において曲面スクリーンの前に人物が立ったときの模式図である。投射中心点を通る光軸をＺ軸とし、光軸上のＣ点を通るＸ−Ｙ平面と曲面スクリーンと人物との関係を立体化した模式図である。第２の実施の形態の回路の構成を示す模式的ブロック構成図である。投射対象面の前に人物がいる場合の上部から見たマスク状態を示す模式図である。

符号の説明

１投射レンズ
２フォーカスレンズ駆動モータ
３フォーカスレンズ位置センサ
４ズームレンズ駆動モータ
５ズームレンズ位置センサ
６フォーカスレンズ位置検出回路
７フォーカスレンズ駆動回路
８ズームレンズ位置検出回路
９ズームレンズ駆動回路
１０フォーカスレンズ駆動入力
１１ズームレンズ駆動入力
１２投射エリア算出回路
１３、１４、３７カメラ
１５、１６、３８光学的歪み補正回路
１７ステレオマッチング回路
１８３次元位置検出回路
１９３次元位置メモリ回路
２０投射面検出回路
２１投射面検出結果レジスタ
２２歪み補正係数算出回路
２３投射画像入力
２４画像歪み補正回路
２５平均距離検出回路
２６中央距離検出回路
２７フォーカスレンズ制御回路
２８人物検出回路
２９人物マスク位置計算回路
３０画像マスク回路
３１表示用パターン生成回路
３２切替回路
３３投射画像切替信号入力
３４投射回路
３５指差し検出回路
３６指差し座標出力
４０プロジェクタ
４１スクリーン
４２ズーム比最大時の投射エリア
４３ズーム比最小時の投射エリア
４６、５６フォーカス調整用パターン
４７、５７投射面検出用パターン
５０投射中心点
５１投射エリア
５２、９１曲面スクリーン
５３人物に見立てた平面
５４マスクエリア
５６、５７マスク部分
５８非マスク部
５９補完した曲面
６０カメラ１４の素子面
６１カメラ１４のレンズ
６２カメラ１３の素子面
６３カメラ１３のレンズ
７０、７６、８３投射対象物に投射された画像
７１、７４、７７、８１、８４、８８歪み補正を施していない画像
７２、７５、７８、８２、８５、８９歪み補正を施した画像
７３、８０、８７投射する画像
７９円柱形の投射対象物
８６スクリーン
９０平面スクリーン
１０１投影装置
１０２フォーカス調整部
１０３ズーム調整部
１０４画像制御部
１０５画像情報生成部
１１１撮像部
１１２投射エリア算出部
１２１３次元位置検出部
１２２距離検出部
１２３人物検出・マスク位置計算部
１２４投射面検出部
１２５歪補正計算部
１２６指差し位置検出部
１３１テストパターン生成部
１４１中央処理装置

Claims

投射レンズを有する投影装置と、
前記投射レンズのフォーカスを調整するフォーカス調整部と、
前記投射レンズのズームを調整するズーム調整部と、
投射対象物の画像を撮像可能な複数のカメラを有する撮像部と、
前記ズーム調整部によるズーム位置に基づいて投射レンズからの距離に応じた投射範囲を算出する投射エリア算出部と、
前記複数のカメラの撮像画面と前記投射エリア算出部で算出された投射範囲とから前記複数のカメラの撮像画面内の同一の対象点を対応させて所定の対象点の３次元位置を検出する３次元位置検出部と、
前記所定の対象点の３次元位置から対象点までの距離を検出する距離検出部とを備え
さらに、前記３次元位置検出部で検出された複数の前記所定の対象点の３次元位置からそれぞれの前記対象点までの距離を検出して二次元に配置する投射面検出部を有し、前記対象点は前記投影装置により前記投射対象物上に面状に投射された複数の所定のパターンであり、前記投射面検出部の前記複数の対象点までの距離に基づいて前記距離検出部で算出された平均距離に基づいて、前記投射レンズのフォーカスが前記フォーカス調整部によって調整され、
さらに、前記投射対象物に投射されている投射画像の所定の領域と前記投影装置との間に介在する所定の形状の障害物を指差し指令として検知する指差し位置検出部を有し、前記対象点は前記投射対象物に投射されている投射画像上で２次元的に指定されており、前記指差し位置検出部は前記投射面検出部によって前記対象点までの距離を比較し、短い距離で所定の形状で配置されている複数の前記対象点のグループを抽出して指差し指令と定義し、前記グループの２次元位置を取得して前記画像情報を生成する画像情報生成部に出力し、画像情報生成部は入力した前記２次元位置から指差し指令の内容を読み出して指令に対応した処理を行って対応する情報を前記画像情報に付加して前記画像制御部に出力する、複数のカメラを備えたプロジェクタ。
前記対象点は前記投影装置により前記投射対象物の中央部近傍に投射された所定のパターンであり、前記距離検出部で検出された対象点までの距離に基づいて、前記投射レンズのフォーカスが前記フォーカス調整部によって調整される、請求項１に記載の複数のカメラを備えたプロジェクタ。
さらに、投射画像の歪みの補正値を計算する歪み補正計算部を有し、前記歪み補正計算部が前記投射面検出部の前記複数の対象点までの距離に基づいて、距離の相違に基づく前記投射画像の歪みを補正するための歪み補正係数を算出し、前記画像制御部が前記歪み補正係数により前記投影装置に入力する前記投射画像を補正する、請求項１または請求項２に記載の複数のカメラを備えたプロジェクタ。
前記投射対象物はスクリーンであり、前記対象点は前記スクリーンと背景との境界線および前記投影装置によって前記スクリーンに投射される前記投射画像の外形線であり、該投射画像の外形線が前記スクリーンと背景との境界線に対応するように、前記歪み補正計算部が前記投射面検出部の検出結果に基づいて前記投影装置に入力する前記投射画像の歪み補正係数を算出し、前記画像制御部が前記歪み補正係数により前記投射画像を補正する、請求項３に記載の複数のカメラを備えたプロジェクタ。
さらに、前記投射対象物に投射されている投射画像と前記投影装置との間に介在する人物を含む障害物を検知し、該障害物上に投射される投射画像をマスクするための情報を生成する人物検出・マスク位置計算部を有し、前記対象点は前記投射対象物に投射されている投射画像上に２次元的に指定されており、前記人物検出・マスク位置計算部は前記投射面検出部によって前記対象点までの距離を比較し、短い距離で配置されている２次元的に配置された複数の前記対象点のグループを抽出して人物を含む障害物と定義し、前記グループの２次元位置を取得し、前記画像制御部は前記投射画像の前記２次元位置に対応する部分の画像を所定の色調に変換して前記投影装置から投射する、請求項４に記載の複数のカメラを備えたプロジェクタ。
前記撮像部は２個のカメラを有する、請求項１から請求項５のいずれか１項に記載の複数のカメラを備えたプロジェクタ。
前記撮像部は３個のカメラを有する、請求項１から請求項５のいずれか１項に記載の複数のカメラを備えたプロジェクタ。
前記３次元位置検出部における対象点の３次元位置の検出は、前記複数のカメラで撮像された同一の前記対象点の前記カメラの素子面の位置と前記カメラのレンズの位置との関係から三角測量の原理で検出される、請求項１から請求項７のいずれか１項に記載の複数のカメラを備えたプロジェクタ。