JP5995539B2

JP5995539B2 - 情報処理装置、情報処理方法及びプログラム

Info

Publication number: JP5995539B2
Application number: JP2012129092A
Authority: JP
Inventors: 貴弘黒澤
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2012-06-06
Filing date: 2012-06-06
Publication date: 2016-09-21
Anticipated expiration: 2032-06-06
Also published as: JP2013254324A

Description

本発明は、プロジェクタ装置によって投影される画像の位置とデジタイザ装置の位置とのズレを補正する技術に関するものである。

近年、情報機器においてタッチ操作デバイスが広く普及している。会議室においても、プロジェクタ装置による資料表示とデジタイザ装置（座標入力装置)による操作指示によって、大画面を使って会議を進める機会が増えてきている。会議室におけるプロジェクタ装置やデジタイザ装置は、予め会議室の天井や什器に設置（インストール）されている場合もあるが、ポータブルタイプのプロジェクタ装置やデジタイザ装置を、必要に応じて会議室に運び込んで利用したいというニーズが高い。これらのプロジェクタ装置やデジタイザ装置を利用する前には、事前のキャリブレーション及び位置合わせが必要である。インストール型の場合には、機器設置(インストール)時に行われるが、ポータブルタイプのプロジェクタ装置やデジタイザ装置では、使用する際に毎回キャリブレーション及び位置合わせが必要となる。

特許文献１には、電子会議等において、投影される画像に歪が生じないように予め斜め投射歪を補正する技術が開示されている。特許文献２には、プロジェクタ装置によって画像が投影される領域の中からユーザの手領域（指領域）を検出し、ユーザによって指示されている位置を検出する方法が開示されている。特許文献３には、プロジェクタ装置によって画像が投影される領域の中から、ユーザが発光ペンを用いて指示している位置を検出する技術が開示されている。特許文献４には、斜め方向から撮影された画像データから、正面画像データを算出する技術が開示されている。

特開２００４−２６５１８５号公報特開２００８−１５２６２２号公報特開２０１０−２７３２８９号公報特許第４３６３１５１号公報

しかしながら、会議で利用されるプロジェクタ装置やデジタイザ装置は、経時変化や機材の位置ズレのために、デジタイザ装置によって生成される座標情報にズレが発生する。この問題は、特に、不安定なスクリーンやホワイトボードパネルが利用された場合や、非固定型のポータブルのプロジェクタ装置が利用される場合において一層顕著となる。

また、機材の位置ズレと同様に、キャリブレーション及び位置合わせの後に、不慮のプロジェクタ装置におけるズーム変更や台形補正等の操作によってズレが発生するケースもある。さらには、そもそもプロジェクタ装置やデジタイザ装置設置時の初期キャリブレーション及び位置合わせ自体手間がかかり、煩わしいという問題もある。

そこで、本発明の目的は、ユーザの手を煩わせることなく、プロジェクタ装置によって投影される画像の位置とデジタイザ装置の位置とのズレを補正することにある。

本発明の情報処理装置は、プロジェクタ装置によって投影された画像と、座標入力装置とを被写体として含む、撮像手段によって撮像された画像データを取得する取得手段と、前記取得手段により取得された前記画像データに基づいて、前記プロジェクタ装置によって投影された画像の位置と、前記座標入力装置の位置とを検出する検出手段と、前記検出手段により検出された位置に基づいて、前記プロジェクタ装置によって投影される画像の位置と、前記座標入力装置によって検出される座標とを対応させる処理手段とを有し、前記処理手段は、前記プロジェクタ装置によって投影された画像の位置と、前記座標入力装置の位置との相対位置と、予め設定された相対位置との差分が所定の値以上である場合、前記相対位置に基づいて、前記プロジェクタ装置によって投影される画像の位置と、前記座標入力装置によって検出される座標とを対応させることを特徴とする。

本発明によれば、ユーザの手を煩わせることなく、プロジェクタ装置によって投影される画像の位置とデジタイザ装置の位置とのズレを補正することができる。

本発明の実施形態に係る会議システムの構成を示す図である。会議装置のハードウェア構成を示す図である。ネットワークカメラ装置によって撮像される画像データの例を示す図である。会議装置の機能的な構成を示す図である。会議装置のカメラ画像取得部の処理を示すフローチャートである。会議装置の相対位置算出部の処理を示すフローチャートである。会議装置の座標補正部の処理を示すフローチャートである。相対位置算出部における全体画像データの変換方法を説明するための図である。プロジェクタ投影画像領域の位置とデジタイザ装置領域の位置との変位の算出方法を示す図である。座標補正部におけるデジタイザ装置によって生成された座標情報の補正方法を説明するための図である。本発明の実施形態に係る会議システムの構成を示す図である。カメラ一体型プロジェクタ装置の構成を示す図である。本発明の実施形態に係る会議システムの構成を示す図である。

以下、本発明を適用した好適な実施形態について説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明を限定するものではない。

先ず、本発明の第１の実施形態について説明する。第１の実施形態においては、会議室に持ち込まれたポータブルタイプのプロジェクタ装置と、座標入力装置であるデジタイザ装置とを用いて会議を進行している最中に、プロジェクタ装置によって投影された画像の位置とデジタイザ装置自体の位置とのズレを自動的に補正するものである。特に、本実施形態は、ネットワークカメラ装置によって撮像された画像データに基づいて、上記ズレを補正するものである。

図１は、本発明の第１の実施形態に係る会議システムの構成を示す図である。図１において、１０１は、会議装置である。１１１は、会議装置１０１の表示内容を投影するプロジェクタ装置である。１２１は、会議室内のホワイトボード等を撮影するネットワークカメラ装置である。１３１は、ホワイトボード上の座標位置を検出するデジタイザ装置である。４００は、会議セッション情報や会議資料を保持及び供給する会議サーバである。１０５は、会議装置１０１、プロジェクタ装置１１１、ネットワークカメラ装置１２１、デジタイザ装置１３１及び会議サーバ４００を接続するネットワークである。

会議装置１０１は、ネットワークカメラ装置１２１によって撮像される画像データを用いて、プロジェクタ装置１１１によって投影された画像の位置とデジタイザ装置１３１自体の位置とのズレを補正する。ネットワークカメラ装置１２１によって撮像される画像データには、プロジェクタ装置１１１によって投影される画像及びデジタイザ装置１３１が含まれる。なお、図１におけるネットワーク１０５は、企業又は組織内で運用されるイントラネットでもよいし、広く世界をつないでいるインターネットでもよい。また、ネットワーク１０５は、ＷｉＦｉ(IEEE802.11シリーズ)やｂｌｕｅｔｏｏｔｈ等のワイヤレス接続でもよいし、電力線に重畳されたネットワーク(Power Line Communications)やＩＥＥＥ８０２．３(Ethernet（登録商標）)等の有線接続でもよい。

図２は、会議装置１０１のハードウェア構成を示す図である。図２に示すように、会議装置１０１は、一般的なコンピュータにより構成される。より詳細には、プログラムによる各種の処理を実行するＣＰＵ１０１１、プログラムや処理データを格納するメモリ１０１２、会議装置１０１を他の機器と相互接続するためのネットワークＩ／Ｆ１０１３、処理結果や画像データをプロジェクタ装置に再生表示する表示コントローラ１０１４、ユーザからの入力を受け取る周辺コントローラ１０１５、メモリ１０１２を補助し、会議データや各種情報を保存するための記憶装置１０１６、及び、マイクスピーカのような外部装置と接続して外部装置制御データの受け渡しやデジタイザ装置１３１と接続して座標データの受け渡しを行うＵＳＢＩ／Ｆ１０１７を備える。

なお、メモリ１０１２や記憶装置１０１６は、高速なＲＡＭの他に、ＨＤＤ装置やフラッシュメモリ等の不揮発性メモリを備えてもよいし、取り外し可能な記憶装置を備えてもよい。ネットワークＩ／Ｆ１０１３は、無線(WLAN；IEEE802.11シリーズ)だけではなく、有線インタフェース(LAN；IEEE802.3)を備えてもよい。また、有線と無線との双方のネットワークインタフェースを備えてもよい。周辺コントローラ１０１５は、キーボード、マウス及びリモコン(リモートコントロール)を制御するように図示しているが、制御可能な周辺デバイスはこれに限らず、タッチセンサ、ＬＥＤコントローラ又は外部センサ入出力コントローラでもよい。反対に、キーボードやマウスが存在しない構成も考えられる。図２では、ＵＳＢＩ／Ｆ１０１７にデジタイザ装置１３１を接続した構成を図示しているが、座標データの入力にネットワークＩ／Ｆ１０１３を用いる場合もある。逆に、画像データ入力のためのネットワークカメラ装置１２１がＵＳＢＩ／Ｆ１０１７に接続される構成もあり得る。表示コントローラ１０１４は、プロジェクタ装置１１１への表示出力ばかりではなく、外部表示装置や専用表示装置への接続インタフェースを備える場合もある。プロジェクタ装置１１１、ネットワークカメラ装置１２１、デジタイザ装置１３１は、広く普及している装置であるため、ハードウェア構成例や動作フローの説明を省略する。

図３は、ネットワークカメラ装置１２１によって撮像される画像データの例を示す図である。図３の３０１は、ネットワークカメラ装置１２１によって撮像される画像データ全体（以下、全体画像データと称す）を示している。図３の３０３は、全体画像データ３０１のうち、プロジェクタ装置１１１によって投影された画像（以下、プロジェクタ投影画像と称す）３０２に該当する領域（以下、プロジェクタ投影画像領域と称す）である。図３の３０４は、全体画像データ３０１のうち、デジタイザ装置１３１のマーカ（標識）に該当する領域（以下、マーカ領域と称す）である。図３の３０５は、全体画像データ３０１のうち、デジタイザ装置１３１に該当する領域（以下、デジタイザ装置領域と称す）である。

デジタイザ装置１３１には、画像処理による位置検出を容易にするためのマーカが備えられている。マーカは、事前に決定されたカラーパターンを持つ反射シールや特定周期で発光するＬＥＤ等を用いて構成される。本実施形態では、デジタイザ装置１３１のそれぞれの端点に、常時発光させた赤外光ＬＥＤを備えた例について説明する。

図４は、会議装置１０１の機能的な構成を示す図である。図４に示すように、会議装置１０１は、カメラ画像取得部４０１、相対位置算出部４０２及び座標補正部４０３を備える。カメラ画像取得部４０１は、プロジェクタ投影画像３０２やデジタイザ装置１３１を撮像した全体画像データ３０１をネットワークカメラ装置１２１から取得する。相対位置算出部４０２は、カメラ画像取得部４０１によって取得された全体画像データ３０１から、プロジェクタ投影画像領域３０３とデジタイザ装置領域３０５とを抽出し、それぞれの位置関係を示す相対位置情報を算出する。座標補正部４０３は、相対位置算出部４０２によって算出される相対位置情報に基づいて、デジタイザ装置１３１によって生成される座標情報を補正する。なお、上述したカメラ画像取得部４０１、相対位置算出部４０２及び座標補正部４０３は、図２のＣＰＵ１０１１が、不図示の記憶媒体やネットワークから必要なプログラムやデータをメモリ１０１２にロードして実行することで、実現する機能的な構成である。また、会議装置１０１は、情報処理装置の例となる構成である。

以下、図５〜図７を参照しながら、本実施形態における会議装置１０１の処理について説明する。なお、図５のステップＳ５０１、図６のステップＳ６０１及び図７のステップＳ７０１において取得される設定データは、会議装置１０１の工場出荷時の規定値であったり、別のツール等を用いてユーザにより設定された値を示すデータである。

先ず、図５を参照しながら、会議装置１０１のカメラ画像取得部４０１の処理について説明する。ステップＳ５０１において、カメラ画像取得部４０１は、起動に応じて、不揮発性の記憶装置やネットワークからカメラ画像取得部４０１の設定データを取得する。ステップＳ５０２において、カメラ画像取得部４０１は、カメラ画像取得部４０１の設定データに従って、ネットワークカメラ装置１２１との接続を確立する。そして、カメラ画像取得部４０１は、ネットワークカメラ装置１２１から全体画像データ３０１を取得する際の撮影パラメータを、ネットワークカメラ装置１２１に対して設定する。ここで設定される撮影パラメータには、ネットワークカメラ装置１２１の撮影解像度が含まれ、プロジェクタ投影画像領域３０３のエッジやマーカ領域３０４が失われないように調整された値が設定される。なお、本実施形態では、デジタイザ装置１３１のマーカとして赤外光ＬＥＤを用いているため、可視光範囲ではなく、赤外光範囲までの撮影が撮影パラメータにおいて指定される。また、カメラ画像取得部４０１は、ネットワークカメラ装置１２１から定期的に全体画像データ３０１を取得するため、ネットワークカメラ装置１２１に対して、例えば１秒間隔のタイマイベントの周期を設定する。

ステップＳ５０３において、カメラ画像取得部４０１は、ネットワークカメラ装置１２１から全体画像データ３０１を取得する。全体画像データ３０１の取得は、ネットワークカメラ装置１２１によって定められた手順に従って行われる。例えば、カメラ画像取得部４０１からネットワークカメラ装置１２１に対して全体画像データ３０１の取得リクエストが発行され、撮影された全体画像データ３０１がネットワークカメラ装置１２１からレスポンスされるのが一般的な手順である。

ステップＳ５０４において、カメラ画像取得部４０１は、プロジェクタ投影画像３０２及びデジタイザ装置１３１の双方の全景が、ネットワークカメラ装置１２１から取得された全体画像データ３０１に含まれているか否かを判定する。双方の全景が含まれていない場合、処理はステップＳ５０５に移行する。一方、双方の全景が含まれる場合、処理はステップＳ５０６に移行する。

ステップＳ５０５において、カメラ画像取得部４０１は、プロジェクタ投影画像３０２及びデジタイザ装置１３１の双方の全景がネットワークカメラ装置１２１によって撮影されるように、ネットワークカメラ装置１２１の撮影画角（パン、チルト及びズームの値）を調整する。より具体的には、プロジェクタ投影画像３０２（画像処理に必要な一定サイズの周辺領域を含む）と、デジタイザ装置１３１の全マーカ（４点）との双方が含まれるように、ネットワークカメラ装置１２１の撮影画角が調整される。

ステップＳ５０６において、カメラ画像取得部４０１は、ネットワークカメラ装置１２１から取得した全体画像データ３０１を相対位置算出部４０２に対して出力する。ステップＳ５０６において、カメラ画像取得部４０１は、ネットワークカメラ装置１２１に対して設定した所定の時間間隔でタイマイベントを待つ。タイマイベントが発生した後、処理はステップＳ５０３に戻り、ステップＳ５０３〜Ｓ５０７が繰り返される。なお、本実施形態では、所定の時間間隔でネットワークカメラ装置１２１にて撮像された全体画像データを取得するようにしているが、デジタイザ装置の稼働開始時にネットワークカメラ装置１２１によって全体画像データを撮像させ、取得するようにしてもよい。

次に、図６を参照しながら、会議装置１０１の相対位置算出部４０２の処理について説明する。ステップＳ６０１において、相対位置算出部４０２は、起動に応じて、不揮発性の記憶装置やネットワークから、相対位置算出部４０２の設定データを取得する。ステップＳ６０２において、相対位置算出部４０２は、カメラ画像取得部４０１から全体画像データ３０１を入力する。ステップＳ６０３において、相対位置算出部４０２は、カメラ画像取得部４０１から入力した全体画像データ３０１からマーカ領域３０４を検出する。本実施形態では、デジタイザ装置１３１の各端点においてマーカから赤外光を常時発光させており、入力された全体画像データ３０１のうち、赤外光に対応する領域がマーカ領域３０４として検出される。

ステップＳ６０４において、相対位置算出部４０２は、全体画像データ３０１における輝度差に基づいて、全体画像データ３０１からプロジェクタ投影画像領域３０３を検出する。即ち、相対位置算出部４０２は、プロジェクタ投影画像領域３０３のエッジ周辺領域において、プロジェクタ投影画像３０２に対応する高輝度成分と、背景となっているスクリーンに対応する低輝度成分とを分割する直線を検出する。そして、相対位置算出部４０２は、これら直線の内側をプロジェクタ投影画像領域３０３として検出する。プロジェクタ投影画像領域３０３の検出処理に際しては、必要に応じて、予め設定されたプロジェクタ投影画像の周辺テクスチャとの比較を併用してもよい。

ステップＳ６０５において、相対位置算出部４０２は、プロジェクタ投影画像領域３０３及びマーカ領域３０４が夫々、正面から撮影された画像となるように、全体画像データ３０１の座標変換を行う。本実施形態では、図８に示すように、同一デジタイザ装置１３１の筺体上におけるマーカ間の距離Ｌ₁、Ｌ₂が上下のデジタイザ装置１３１間で等しくなり、且つ、プロジェクタ投影画像領域の向かい合う長辺８０１及び短辺８０２がそれぞれ並行になるように、全体画像データ３０１が座標変換される。この座標変換の結果、ネットワークカメラ装置１２１の撮影位置とプロジェクタ装置１１１の投影位置との位置関係によるパースペクティブが抑制された正面画像データが生成される。

ステップＳ６０６において、相対位置算出部４０２は、ステップＳ６０５にて生成した正面画像データにおいて、プロジェクタ投影画像領域３０３の位置とデジタイザ装置領域３０５の位置との変位を算出する。ここでは、各マーカ領域３０４の中心点と、それに最も近接するプロジェクタ投影画像領域３０３のコーナー点との水平方向及び垂直方向それぞれの距離が変位として算出される。図９に示すように、ｎ番目のマーカ領域３０４の中心点から、ｎ番目のプロジェクタ投影画像領域３０３のコーナー点までの水平方向の距離をＤｈ＿ｎとし、垂直方向の距離をＤｖ＿ｎとして、プロジェクタ投影画像領域３０３の位置とデジタイザ装置領域３０５の位置との変位を、以下では（Ｄｈ＿ｎ,Ｄｖ＿ｎ）と表現する。このとき、マーカ領域３０４の中心点を基点として、右方向及び下方向をプラス値で表現し、左方向及び上方向をマイナス値で表現する。より詳細には、図３にも示したとおり、本実施形態では、プロジェクタ投影画像の投影面とデジタイザ装置１３１の設置面とが同一平面上にある場合における、プロジェクタ投影画像の位置とデジタイザ装置１３１の位置との変位を算出している。

相対位置算出部４０２は、４つのマーカ領域３０４に関して上記変位を算出する。即ち、相対位置算出部４０２は、全体画像データ３０１におけるマーカ領域３０４を左上、右上、左下、右下の順番でｎ＝１、２、３、４として、相対位置算出部４０２は、次の変位の値セットを算出する。
｛（Ｄｈ＿１,Ｄｖ＿１）,（Ｄｈ＿２,Ｄｖ＿２）,（Ｄｈ＿３,Ｄｖ＿３）,（Ｄｈ＿４,Ｄｖ＿４）｝

なお、これらの変位は物理距離で算出される。物理距離の算出に際しては、デジタイザ装置１３１のマーカ間の距離（同一筺体に配置された左右のマーカ間の距離）を基準にして、全体画像データ３０１上の距離が物理距離に変換される。なお、デジタイザ装置１３１のマーカ間の距離は、事前に設定された既知値として与えられる。ステップＳ６０７において、相対位置算出部４０２は、算出した変位の値セットを座標補正部４０３に対して出力する。以上の処理の後、処理はステップＳ６０２に戻り、上記動作が繰り返される。

次に、図7を参照しながら、会議装置１０１の座標補正部４０３の処理について説明する。ステップＳ７０１において、座標補正部４０３は、起動に応じて、不揮発性の記憶装置やネットワークから、座標補正部４０３の設定データを取得する。ステップＳ７０２において、座標補正部４０３は、デジタイザ装置１３１の利用開始時点における、デジタイザ装置１３１とプロジェクタ投影画像３０２との相対位置の初期値を設定する。ここでは、ユーザがユーザインタフェースを用いて明示的にプロジェクタ投影画像の４つのコーナーをポイントさせるものとし、デジタイザ装置１３１がそのポイント位置を検出する。座標補正部４０３は、デジタイザ装置１３１によって検出されたポイント位置を用いて、デジタイザ装置１３１の利用開始時点における、デジタイザ装置１３１とプロジェクタ投影画像３０２との相対位置の初期値を設定する。なお、デジタイザ装置１３１とプロジェクタ投影画像３０２との相対位置の初期値は、相対位置算出部４０２により算出される変位の値セットと同様に、次のように、各コーナーの相対位置で記述される。
｛（Ｄｈ０＿１,Ｄｖ０＿１）,（Ｄｈ０＿２,Ｄｖ０＿２）,（Ｄｈ０＿３,Ｄｖ０＿３）,（Ｄｈ０＿４,Ｄｖ０＿４）｝

ステップＳ７０３において、座標補正部４０３は、相対位置算出部４０２により算出された次の変位の値セットを入力する。
｛（Ｄｈ＿１,Ｄｖ＿１）,（Ｄｈ＿２,Ｄｖ＿２）,（Ｄｈ＿３,Ｄｖ＿３）,（Ｄｈ＿４,Ｄｖ＿４）｝

ステップＳ７０４において、座標補正部４０３は、相対位置算出部４０２から入力した変位の値セットと相対位置の初期値との差分の絶対値（ズレ量）Ｖを、次の式１により算出する。

ステップＳ７０５において、座標補正部４０３は、ステップＳ７０４において算出した差分の絶対値Ｖが予め設定された閾値を超えているか否かを判定する。差分の絶対値Ｖが閾値を超えている場合、処理はステップＳ７０６に移行する。一方、差分の絶対値Ｖが閾値を超えていない場合、処理はステップＳ７０７に移行する。

ステップＳ７０６において、座標補正部４０３は、ステップＳ７０３において入力した変位の値セットを、相対位置の初期値として設定する。ステップＳ７０７において、座標補正部４０３は、デジタイザ装置１３１によって生成される座標情報を、相対位置の初期値で補正する。最も単純な補正方法としては、デジタイザ装置１３１によって生成される座標情報を、プロジェクタ投影画像領域３０３の解像度に合せて変換する時点で、そのオフセット値として相対位置の初期値を差し引く方法がある。

座標補正部４０３は、次の式を用いて、デジタイザ装置１３１によって生成された座標情報（Ｘ,Ｙ）を、プロジェクタ画面内の座標情報（ｘ,ｙ）に変換する。
ｘ＝（Ａ＊Ｘ＋Ｂ＊Ｙ＋Ｃ）／（Ｇ＊Ｘ＋Ｈ＊Ｙ＋１）
ｙ＝（Ｄ＊Ｘ＋Ｅ＊Ｙ＋Ｆ）／（Ｇ＊Ｘ＋Ｈ＊Ｙ＋１）
但し、Ａ〜Ｈは、平面射影変換(homography又はplanar perspective projection)の変換パラメータである。

本実施形態では、図１０に示すように、｛（Ｄｈ＿１,Ｄｖ＿１）,（Ｄｈ＿２,Ｄｖ＿２）,（Ｄｈ＿３,Ｄｖ＿３）,（Ｄｈ＿４,Ｄｖ＿４）｝の値セットを用いた変換処理の前後で、それぞれに対応する以下の４点が算出される。但し、ＬとＷとは、デジタイザ装置１３１の左右マーカ間の距離と上下マーカ間の距離とであり、事前に設定されている値である。
（１）左上：（０，０）と（Ｄｈ＿１,Ｄｖ＿１）
（２）右上：（Ｌ，０）と（Ｌ＋Ｄｈ＿２,０＋Ｄｖ＿２）
（３）左下：（０,Ｗ）と（０＋Ｄｈ＿３,Ｗ＋Ｄｖ＿３）
（４）右下：（Ｌ,Ｗ）と（Ｌ＋Ｄｈ＿４,Ｗ＋Ｄｖ＿４）
以上の処理の後、処理はステップＳ７０３に戻り、上記動作が繰り返される。

本実施形態では、デジタイザ装置１３１によって生成される座標情報を補正する例について説明したが、プロジェクタ投影画像３０２の位置を、デジタイザ装置１３１の位置に合せて補正するようにしてもよい。

また、本実施形態では、変位の値セットと相対位置の初期値との差分の絶対値（ズレ量）を検出して、プロジェクタ投影画像３０２の位置とデジタイザ装置１３１の位置とのズレを補正する例について示したが、補正方法はこれに限らない。例えば、デジタイザ装置１３１の初期キャリブレーションと同様の手法により、ステップＳ６０６で得られた変位の値セットを用いて、プロジェクタ投影画像３０２の位置とデジタイザ装置１３１の位置とのズレを随時補正してもよい。また、ステップＳ７０２において、ステップＳ６０６の第一回目の処理で得られた変位の値セットを初期値に設定するようにしてもよい。

また、本実施形態では、デジタイザ装置１３１によって生成される座標情報の補正処理を、座標情報が生成された後に実行する例について示したが、座標情報の補正方法はこれに限らない。例えば、ステップＳ７０４において算出される、変位の値セットと相対位置の初期値との差分の絶対値（ズレ量）をデジタイザ装置１３１に通知し、デジタイザ装置１３１内部で座標情報を補正するようにしてもよい。

また、本実施形態では、変位の値セットと相対位置の初期値との差分の絶対値（ズレ量）に関わらず、座標情報を補正する例について示したが、この差分の絶対値が予め設定される閾値を超えた場合、座標情報を補正せず、エラー通知を行うようにしてもよい。また、上記差分の絶対値が予め設定された閾値に満たない場合、座標情報の補正処理をスキップして、過度のズレ補正を抑制するようにしてもよい。

また、本実施形態では、座標補正部４０３により、１秒周期で撮影された全体画像データに基づき、上述した補正用の変換パラメータ（Ａ〜Ｈ）を更新し得るが、更新頻度は、これに限定されない。例えば、事前に設定された期間、ステップＳ７０５の判定処理を保留にすることで過剰補正を抑制するようにしてもよい。同様に、式１で算出されたズレ量の時系列変化や変化幅から過剰補正を抑制するようにしてもよい。

また、本実施形態では、ネットワークカメラ装置１２１によって、プロジェクタ投影画像３０２を撮影する例について説明したが、これに限定されない。例えば、ネットワークカメラ装置１２１ではなく、広く使われているデジタルスチルカメラを用いてプロジェクタ投影画像３０２を撮影してもよい。この場合、デジタイザ装置１３１によって生成された座標情報の補正に適さない全体画像データが撮影されることがあるが、その際には、カメラ画像取得部４０１又は相対位置算出部４０２等によりエラーを通知するようにしてもよい。

次に、本発明の第２の実施形態について説明する。第２の実施形態においては、第１の実施形態と同様に、会議室に持ち込まれたポータブルタイプのプロジェクタ装置と、座標入力装置であるデジタイザ装置とを用いて会議を進行している最中に、プロジェクタ投影画像の位置とデジタイザ装置自体の位置とのズレとを自動的に補正するものである。特に、本実施形態では、プロジェクタ装置と一体化されたカメラ部で撮影された画像データに基づいて、上記ズレを補正するものである。

図１１は、本発明の第２の実施形態に係る会議システムの構成を示す図である。図１１において、１１２は、カメラ部が一体化したカメラ一体型プロジェクタ装置である。カメラ一体型プロジェクタ装置１１２は、ネットワーク１０５を介して会議装置１０１と接続されている。なお、図１１における会議装置１０１及びデジタイザ装置１３１は、図１に示した会議装置１０１及びデジタイザ装置１３１と同様の構成である。

図１２は、カメラ一体型プロジェクタ装置１１２の構成を示す図である。図１２に示すように、カメラ一体型プロジェクタ装置１１２は、プロジェクタ投影部１１２１の出力光学系とカメラ部１１２２の撮像光学系とで、ハーフミラー１１２３及び光学系１１２４を共有している。

また、第２の実施形態における会議装置１０１（カメラ画像取得部４０１）は、図５のステップＳ５０２において、カメラ一体型プロジェクタ装置１１２との接続を確立する。そして、図５のステップＳ５０３において、会議装置１０１（カメラ画像取得部４０１）は、カメラ部１１２２によって撮影された全体画像データ３０１を取得する。その他の構成及び処理は、第１の実施形態と同様である。

以上により、会議室に持ち込まれたポータブルタイプのカメラ一体型プロジェクタ装置１１２とデジタイザ装置１３１とを用いて会議を進行している最中に、プロジェクタ投影画像３０２の位置とデジタイザ装置１３１の位置とのズレを自動的に補正することが可能となる。

なお、本実施形態では、カメラ一体型プロジェクタ装置１１２において、プロジェクタ投影部１１２１とカメラ部１１２２とでハーフミラー１１２３及び光学系１１２４を共有する例について説明したが、これに限定されない。即ち、プロジェクタ投影部１１２１とカメラ部１１２２とでハーフミラー１１２３及び光学系１１２４のうちの何れか一方を共有してもよいし、プロジェクタ投影部１１２１とカメラ部１１２２とでハーフミラー１１２３及び光学系１１２４を別々に設けてもよい。

第２の実施形態では、カメラ一体型プロジェクタ装置１１２について説明したが、本発明に適用可能な構成は、これに限定されない。例えば、図１３に示すように、デジタイザ装置１３１がプロジェクタ装置１１１に直接接続される形態であってもよい。この場合、プロジェクタ装置１１１の動作情報（部分拡大ズーム、幾何補正）を、プロジェクタ投影画像３０２の位置とデジタイザ装置１３１の位置とのズレの補正に反映させることが考えられる。また、プロジェクタ投影画像３０２の幾何変換により、プロジェクタ投影画像３０２の位置とデジタイザ装置１３１の位置とのズレを補正することも容易になる。

上記実施形態においては、ユーザの手を煩わせることなく、プロジェクタ投影画像３０２の位置とデジタイザ装置１３１の位置とのズレを補正することが可能となる。従って、ユーザは、プロジェクタ投影画像３０２の位置とデジタイザ装置１３１の位置とのズレを感じることなく、会議を継続することができる。よって、使い勝手が向上するとともに、会議を中断させる等のロスを回避することができるため、会議生産性を高めることができる。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０１：会議装置、１０５：ネットワーク、１１１：プロジェクタ装置、１２１：ネットワークカメラ装置、１３１：デジタイザ装置、４００：会議サーバ、４０１：カメラ画像取得部、４０２：相対位置算出部、４０３：座標補正部

Claims

プロジェクタ装置によって投影された画像と、座標入力装置とを被写体として含む、撮像手段によって撮像された画像データを取得する取得手段と、
前記取得手段により取得された前記画像データに基づいて、前記プロジェクタ装置によって投影された画像の位置と、前記座標入力装置の位置とを検出する検出手段と、
前記検出手段により検出された位置に基づいて、前記プロジェクタ装置によって投影される画像の位置と、前記座標入力装置によって検出される座標とを対応させる処理手段と
を有し、
前記処理手段は、前記プロジェクタ装置によって投影された画像の位置と、前記座標入力装置の位置との相対位置と、予め設定された相対位置との差分が所定の値以上である場合、前記相対位置に基づいて、前記プロジェクタ装置によって投影される画像の位置と、前記座標入力装置によって検出される座標とを対応させることを特徴とする情報処理装置。
プロジェクタ装置によって投影された画像と、座標入力装置とを被写体として含む、撮像手段によって撮像された画像データを取得する取得手段と、
前記取得手段により取得された前記画像データに基づいて、前記プロジェクタ装置によって投影された画像の位置と、前記座標入力装置の位置とを検出する検出手段と、
前記検出手段により検出された位置に基づいて、前記プロジェクタ装置によって投影される画像の位置と、前記座標入力装置によって検出される座標とを対応させる処理手段と
を有し、
前記処理手段は、前記プロジェクタ装置によって投影された画像の位置と、前記座標入力装置の位置との相対位置と、予め設定された相対位置との差分の時系列変化及び変化幅のうちの少なくとも何れか一方に基づいて、前記プロジェクタ装置によって投影される画像の位置と、前記座標入力装置によって検出される座標とを対応させる処理を制御することを特徴とする情報処理装置。
前記処理手段は、前記プロジェクタ装置によって投影される画像の位置を変えることによって、前記プロジェクタ装置によって投影される画像の位置と、前記座標入力装置によって検出される座標とを対応させることを特徴とする請求項１又は２に記載の情報処理装置。
前記処理手段は、前記座標入力装置が検出した座標を示す情報を変換することによって、前記プロジェクタ装置によって投影される画像の位置と、前記座標入力装置によって検出される座標とを対応させることを特徴とする請求項１乃至３の何れか１項に記載の情報処理装置。
前記画像データは、前記プロジェクタ装置によって投影された画像の全景と、前記座標入力装置の全景とを被写体として含むことを特徴とする請求項１乃至４の何れか１項に記載の情報処理装置。
前記取得手段は、前記撮像手段により所定の時間間隔で撮像された前記画像データを取
得することを特徴とする請求項１乃至５の何れか１項に記載の情報処理装置。
前記取得手段は、前記座標入力装置の稼働開始時に前記撮像手段により撮像された前記画像データを取得することを特徴とする請求項１乃至６の何れか１項に記載の情報処理装置。
前記検出手段は、前記プロジェクタ装置による画像の投影面と前記座標入力装置の設置面とが同一平面にある場合の、前記プロジェクタ装置によって投影された画像の位置と、前記座標入力装置の位置とを検出することを特徴とする請求項１乃至７の何れか１項に記載の情報処理装置。
前記検出手段は、前記座標入力装置に備えられたマーカに該当する領域を前記画像データから検出するとともに、前記プロジェクタ装置によって投影された画像の領域を前記画像データから検出し、前記マーカに該当する領域と、前記プロジェクタ装置によって投影された画像の領域とに基づいて、前記プロジェクタ装置によって投影された画像の位置と、前記座標入力装置の位置とを検出することを特徴とする請求項１乃至８の何れか１項に記載の情報処理装置。
前記検出手段は、前記画像データにおける輝度差、又は、前記画像データと予め設定されたテクスチャとの比較結果に基づいて、前記プロジェクタ装置によって投影された画像の領域を前記画像データから検出することを特徴とする請求項１乃至９の何れか１項に記載の情報処理装置。
前記撮像手段は、前記プロジェクタ装置と一体化されていることを特徴とする請求項１乃至１０の何れか１項に記載の情報処理装置。
前記撮像手段は、前記プロジェクタ装置と光学系を共有していることを特徴とする請求項１乃至１１の何れか１項に記載の情報処理装置。
前記画像データは、前記座標入力装置が有するマーカを被写体として含むことを特徴とする請求項１乃至１２の何れか１項に記載の情報処理装置。
前記検出手段は、前記座標入力装置の位置として、前記座標入力装置が有するマーカの位置を検出することを特徴とする請求項１３に記載の情報処理装置。
前記検出手段は、前記プロジェクタ装置によって投影された画像の位置として、前記プロジェクタ装置によって投影された画像のコーナー点の位置を検出することを特徴とする請求項１乃至１４の何れか１項に記載の情報処理装置。
情報処理装置によって実行される情報処理方法であって、
プロジェクタ装置によって投影された画像と、座標入力装置とを被写体として含む、撮像手段によって撮像された画像データを取得する取得ステップと、
前記取得ステップにより取得された前記画像データに基づいて、前記プロジェクタ装置によって投影された画像の位置と、前記座標入力装置の位置とを検出する検出ステップと、
前記検出ステップにより検出された位置に基づいて、前記プロジェクタ装置によって投影される画像の位置と、前記座標入力装置によって検出される座標とを対応させる処理ステップとを含み、
前記処理ステップにおいては、前記プロジェクタ装置によって投影された画像の位置と、前記座標入力装置の位置との相対位置と、予め設定された相対位置との差分が所定の値以上である場合、前記相対位置に基づいて、前記プロジェクタ装置によって投影される画像の位置と、前記座標入力装置によって検出される座標とを対応させることを特徴とする情報処理方法。
情報処理装置によって実行される情報処理方法であって、
プロジェクタ装置によって投影された画像と、座標入力装置とを被写体として含む、撮像手段によって撮像された画像データを取得する取得ステップと、
前記取得ステップにより取得された前記画像データに基づいて、前記プロジェクタ装置によって投影された画像の位置と、前記座標入力装置の位置とを検出する検出ステップと、
前記検出ステップにより検出された位置に基づいて、前記プロジェクタ装置によって投影される画像の位置と、前記座標入力装置によって検出される座標とを対応させる処理ステップとを含み、
前記処理ステップにおいては、前記プロジェクタ装置によって投影された画像の位置と、前記座標入力装置の位置との相対位置と、予め設定された相対位置との差分の時系列変化及び変化幅のうちの少なくとも何れか一方に基づいて、前記プロジェクタ装置によって投影される画像の位置と、前記座標入力装置によって検出される座標とを対応させる処理を制御することを特徴とする情報処理方法。
プロジェクタ装置によって投影された画像と、座標入力装置とを被写体として含む、撮像手段によって撮像された画像データを取得する取得ステップと、
前記取得ステップにより取得された前記画像データに基づいて、前記プロジェクタ装置によって投影された画像の位置と、前記座標入力装置の位置とを検出する検出ステップと、
前記検出ステップにより検出された位置に基づいて、前記プロジェクタ装置によって投影される画像の位置と、前記座標入力装置によって検出される座標とを対応させる処理ステップとをコンピュータに実行させるためのプログラムで、
前記処理ステップにおいては、前記プロジェクタ装置によって投影された画像の位置と、前記座標入力装置の位置との相対位置と、予め設定された相対位置との差分が所定の値以上である場合、前記相対位置に基づいて、前記プロジェクタ装置によって投影される画像の位置と、前記座標入力装置によって検出される座標とを対応させることを特徴とするプログラム。
プロジェクタ装置によって投影された画像と、座標入力装置とを被写体として含む、撮像手段によって撮像された画像データを取得する取得ステップと、
前記取得ステップにより取得された前記画像データに基づいて、前記プロジェクタ装置によって投影された画像の位置と、前記座標入力装置の位置とを検出する検出ステップと、
前記検出ステップにより検出された位置に基づいて、前記プロジェクタ装置によって投影される画像の位置と、前記座標入力装置によって検出される座標とを対応させる処理ステップとをコンピュータに実行させるためのプログラムで、
前記処理ステップにおいては、前記プロジェクタ装置によって投影された画像の位置と、前記座標入力装置の位置との相対位置と、予め設定された相対位置との差分の時系列変化及び変化幅のうちの少なくとも何れか一方に基づいて、前記プロジェクタ装置によって投影される画像の位置と、前記座標入力装置によって検出される座標とを対応させる処理を制御することを特徴とするプログラム。