JP5088018B2 - 画像処理装置及び制御プログラム - Google Patents

Description

本発明は、画像処理装置及び制御プログラムに関する。

従来より、被写体（例えば試験答案）に記述された記述情報が予め設定されている参照情報と一致するかを判断し、その判断結果を示す判断結果情報を投影手段で投影する画像入出力装置が知られている（例えば、特許文献１参照）。

また、従来より、投影面の状況に応じた適正な画像を生成可能な投影システムが知られている（例えば、特許文献２参照）。

上記画像入出力装置及び投影システムは、いずれも撮影装置及び投影装置を備えている。
特開２００６−４０１０号公報 特開２００４−１０９２４６号公報

しかしながら、上記特許文献１では、撮影装置及び投影装置が１つの筐体に含まれており、上記特許文献２では、撮影装置が投影装置の脇に固定されており、いずれも撮影装置及び投影装置を分離して、自由に移動させることができない。

撮影装置及び投影装置のうち少なくとも一方が自由に移動する場合、操作者は撮影装置及び投影装置の空間位置関係の把握が困難であるため、投影装置で投影される画像の全体を撮影装置の最大撮影範囲に一致させることが困難である。

本発明の目的は、撮影装置及び投影装置間の相対的な位置関係を投影装置からの投影画像によって操作者に認識させることができる画像処理装置及びプログラムを提供することにある。

上記目的を達成するため、請求項１の画像処理装置は、少なくとも一方の位置の調整が可能な投影装置及び撮影装置と接続する接続手段と、前記撮影装置の最大撮影有効範囲が前記投影装置の投影有効範囲と大きさ及び位置の点で一致するような変換式を算出し、前記撮影装置の種類又は設定操作で決定される前記撮影装置の最大撮影有効範囲及び最小撮影許容範囲に前記変換式を適用し、変換された最大撮影有効範囲及び最小撮影許容範囲を前記投影装置の投影画像の大きさと一致する所定の画像上に描画した標準パターンを作成する作成手段と、前記投影装置によって投影された前記標準パターンが前記撮影装置で撮影されることにより撮影画像を取得する取得手段と、前記撮影画像のうち、前記撮影装置の最大撮影有効範囲及び最小撮影許容範囲を抽出し色変換する色変換手段と、前記撮影装置の最大撮影有効範囲と前記投影装置の投影有効範囲との比率に応じて、前記色変換された最大撮影有効範囲及び最小撮影許容範囲を拡大又は縮小する拡大縮小手段と、前記拡大又は縮小された最大撮影有効範囲及び最小撮影許容範囲を投影前の標準パターンに重畳する重畳手段と、前記重畳手段により重畳された標準パターンを前記投影装置に出力する出力手段とを備えることを特徴とする。

請求項２の画像処理装置は、請求項１に記載の画像処理装置において、前記投影装置及び前記撮影装置のうち少なくとも一方の位置が調整されている場合に、前記重畳手段により重畳された標準パターンから前記色変換され且つ拡大又は縮小された最大撮影有効範囲及び最小撮影許容範囲を削除する削除手段を備えることを特徴とする。

請求項３の画像処理装置は、請求項１に記載の画像処理装置において、前記投影装置及び前記撮影装置のうち少なくとも一方の位置が調整されている場合に、前記撮影装置が、前記重畳手段により重畳された標準パターンから前記色変換され且つ拡大又は縮小された最大撮影有効範囲及び最小撮影許容範囲を削除する削除手段を備えることを特徴とする。

請求項４の画像処理装置は、請求項１又は２に記載の画像処理装置において、前記標準パターン内の最大撮影有効範囲及び最小撮影許容範囲にスリットを形成したことを特徴とする。

請求項５の画像処理装置は、請求項４に記載の画像処理装置において、前記スリットは複数本形成されていることを特徴とする。

請求項６の画像処理装置は、請求項５に記載の画像処理装置において、前記複数本のスリットの間隔は、前記最大撮影有効範囲及び最小撮影有効範囲の少なくとも１辺の中心から外側に向けて広がる又は狭くなる若しくは不規則であることを特徴とする。

請求項７の画像処理装置は、請求項１乃至６のいずれか１項に記載の画像処理装置において、前記撮影装置の向き、ズーム及びピントのうち少なくとも１つを制御する制御手段を備えることを特徴とする。

請求項８の画像処理装置は、請求項７に記載の画像処理装置において、前記重畳手段により重畳された標準パターンに基づいて、前記拡大又は縮小された最大撮影有効範囲が、前記投影前の標準パターンに示された撮影装置の最大撮影有効範囲及び最小撮影許容範囲の間に収まっているか否かを判別する判別手段を備え、前記制御手段は、前記拡大又は縮小された最大撮影有効範囲が前記投影前の標準パターンに示された撮影装置の最大撮影有効範囲及び最小撮影許容範囲の間に収まっていない場合に、前記拡大又は縮小された最大撮影有効範囲が前記投影前の標準パターンに示された撮影装置の最大撮影有効範囲及び最小撮影許容範囲の間に収まるように前記撮影装置の向き又はズームを制御することを特徴とする。

請求項９の画像処理装置は、請求項７又は８に記載の画像処理装置において、前記標準パターンに示された撮影装置の最大撮影有効範囲又は最小撮影許容範囲に相当する枠上にスリットが形成され、前記撮影装置は、複数のフォーカスの設定で前記投影装置によって投影された標準パターンを複数撮影し、前記制御手段は、前記複数の標準パターンのうち、前記撮影装置の最大撮影有効範囲又は最小撮影許容範囲に相当する枠上のスリット部分及び非スリット部分の明度の差分が最大となる標準パターンに対応するフォーカスの設定で前記撮影装置のピントを制御することを特徴とする。

請求項１０の画像処理装置は、請求項７乃至９のいずれか１項に記載の画像処理装置において、前記接続手段は、前記撮影装置を移動させる移動手段と接続し、前記制御手段は、前記移動手段による前記撮影装置の移動位置を制御することを特徴とする。

請求項１１のプログラムは、コンピュータを、少なくとも一方の位置の調整が可能な投影装置及び撮影装置と接続する接続手段、前記撮影装置の最大撮影有効範囲が前記投影装置の投影有効範囲と大きさ及び位置の点で一致するような変換式を算出し、前記撮影装置の種類又は設定操作で決定される前記撮影装置の最大撮影有効範囲及び最小撮影許容範囲に前記変換式を適用し、変換された最大撮影有効範囲及び最小撮影許容範囲を前記投影装置の投影画像の大きさと一致する所定の画像上に描画した標準パターンを作成する作成手段、前記投影装置によって投影された前記標準パターンが前記撮影装置で撮影されることにより撮影画像を取得する取得手段、前記撮影画像のうち、前記撮影装置の最大撮影有効範囲及び最小撮影許容範囲を抽出し色変換する色変換手段、前記撮影装置の最大撮影有効範囲と前記投影装置の投影有効範囲との比率に応じて、前記色変換された最大撮影有効範囲及び最小撮影許容範囲を拡大又は縮小する拡大縮小手段、前記拡大又は縮小された最大撮影有効範囲及び最小撮影許容範囲を投影前の標準パターンに重畳する重畳手段、及び 前記重畳手段により重畳された標準パターンを前記投影装置に出力する出力手段として機能させることを特徴とする。

請求項１、１１の発明によれば、撮影装置及び投影装置間の相対的な位置関係を投影装置からの投影画像によって操作者に認識させることができる。

請求項２の発明によれば、色変換され且つ拡大又は縮小された標準パターンが、再度色変換され且つ拡大又は縮小されて新たな標準パターンに重畳されることを防止できる。

請求項３の発明によれば、色変換され且つ拡大又は縮小された標準パターンが、再度色変換され且つ拡大又は縮小されて新たな標準パターンに重畳されることを防止できる。

請求項４の発明によれば、撮影装置又は投影装置の操作者は投影装置により投影されたスリットを見ながら撮影装置又は投影装置のピント調整を実行することができる。

請求項５の発明によれば、撮影装置又は投影装置のピント調整の精度を向上することができる。

請求項６の発明によれば、スリットが等間隔に形成されている場合と比べて、撮影装置又は投影装置のピント調整の精度を向上することができる。

請求項７の発明によれば、投影装置によって投影された標準パターンを適切に撮影することができる。

請求項８の発明によれば、撮影画像から投影画像への座標変換式を求めるための補助ができる。

請求項９の発明によれば、スリット部分が鮮明に投影された標準パターンに対応するフォーカスの設定で、撮像装置のピントを自動調整することができる。

請求項１０の発明によれば、自由度の高い撮像装置の位置調整を実行できる。

以下、本発明の実施の形態について、図面を参照して説明する。

（第１の実施の形態）
図１は、本発明の第１の実施の形態に係る撮影像変換装置を含む遠隔指示システムの構成を示すブロック図である。

図１の遠隔指示システムは、サーバとして機能するパーソナルコンピュータ（ＰＣ）１（撮影像変換装置）、クライアントとして機能するＰＣ２を備えており、これらは、ネットワーク３を介して互いに接続されている。ＰＣ１には、プロジェクタ４（投影装置）、及びカメラ５（撮像装置）が接続されている。

プロジェクタ４は、ＰＣ１からの制御コマンドに基づいて、スクリーン６に対してアノテーション画像（注釈画像）等を投影する。アノテーション画像は、線、文字、記号、図形、色、フォント（書体）等のあらゆる態様の画像を含む。また、操作者はプロジェクタ４を自由に移動することができる。

カメラ５は、ビデオカメラ又はＰＴＺ（Pan Tilt Zoom）カメラで構成され、スクリーン６を撮影し、撮影画像をＰＣ１に出力する。また、操作者はカメラ５を自由に移動することができる。

ＰＣ１は、カメラ５により撮影された撮影画像をネットワーク３を介してＰＣ２に出力する。ＰＣ２は、表示部２０５に接続されており、表示部２０５は、撮影画像の表示領域１２及びユーザインターフェース（ＵＩ）１４を表示する。尚、ＰＣ２は、表示部２０５を備える一体型のパーソナルコンピュータで構成してもよい。

ＵＩ１４は、ペン、テキスト、及び消去などのボタン群と、線種や色種のアイコンとを含む。表示領域１２には、カメラ５で撮影された撮影画像が表示される。同図においては、スクリーン６をカメラ５により撮影した撮影画像が表示領域１２に表示されている。例えば、ＵＩ１４のペンボタンが押下されて、表示領域１２内に図形等が記載されると、当該図形の情報はＰＣ２からＰＣ１を介してプロジェクタ４に出力される。プロジェクタ４は当該図形の情報に基づいてスクリーン６上に図形を描く。

尚、同図においては、クライアントは、ＰＣ２の１台が記載されているが、遠隔指示システムは、複数のクライアント（ＰＣ）を備えていてもよい。

図２は、ＰＣ１〜２の機能構成を示すブロック図である。

ＰＣ１は、装置全体を制御すると共にプロジェクタ４及びカメラ５の動作を制御する制御部１０１（制御手段、判別手段）と、ネットワーク３を介してＰＣ２と情報やデータの送受信を行う送受信部１０２と、プロジェクタ４に投影される画像やカメラ５の撮影画像などに画像処理を行う画像処理部１０３（取得手段、色変換手段、拡大縮小手段、重畳手段、出力手段、削除手段）、プロジェクタ４に投影される標準パターンを作成する標準パターン作成部１０４、プロジェクタ４及びカメラ５と接続するためのインタフェース（ＩＦ）部１０５（接続手段）と、マウスやキーボードなどで構成される操作部１０６とを備えている。制御部１０１は、送受信部１０２、画像処理部１０３、標準パターン作成部１０４、ＩＦ部１０５及び操作部１０６に接続されており、さらにＩＦ部１０５を介してプロジェクタ４及びカメラ５に接続されている。

ＰＣ２は、装置全体を制御する制御部２０１と、ネットワーク３を介してＰＣ１と情報やデータの送受信を行う送受信部２０２と、マウスやキーボードなどで構成される操作部２０４と、制御プログラム、データ及び情報等を記憶する記憶部２０３と、表示部２０５とを備えている。制御部２０１は、送受信部２０２、操作部２０４、記憶部２０３及び表示部２０５に接続されている。

図３は、ＰＣ１のハードウエア構成を示すブロック図である。

ＰＣ１は、装置全体を制御するＣＰＵ２１、制御プログラムを備えるＲＯＭ２２、ワーキングエリアとして機能するＲＡＭ２３、各種の情報やプログラムを備えるハードディスクドライブ（ＨＤＤ）２４、他のコンピュータと接続するためのネットワークインタフェース２５、不図示のＵＳＢ機器と接続するためのＵＳＢ（universal serial bus）インタフェース２６、並びにマウス及びキーボード２７を備えている。ＣＰＵ２１はシステムバス２８を介してＲＯＭ２２、ＲＡＭ２３、ハードディスクドライブ（ＨＤＤ）２４、ネットワークインタフェース２５、ＵＳＢインタフェース２６、並びにマウス及びキーボード２７に接続されている。

制御部１０１、画像処理部１０３及び標準パターン作成部１０４は、制御プログラムに従って各種の処理を実行するＣＰＵ２１に相当する。送受信部１０２は、ネットワークインタフェース２５に相当する。ＩＦ部１０５は、ネットワークインタフェース２５に相当する。

ＰＣ２は、ＰＣ１の構成に、マウス及びキーボード、及びディスプレイを追加した構成である。

以下、カメラ５で撮影された撮影画像からプロジェクタ４で投影される投影画像への座標変換方法を説明する。

撮影画像から投影画像への座標変換の計算は、プロジェクタ４から投影されるパターンをカメラ５で撮影し、投影されたパターン中の各点と撮影されたパターン中の各点との対応関係を求めることで実行される。また、この計算を精度良く行うためには、投影されたパターンが撮影画像上で広い範囲を占め且つ相対的に高い解像度を有する状態であることが必要である。つまり、カメラ５は、投影されたパターンが撮影画像の周辺部に見られる歪みなどに影響されない最大撮影有効範囲内に収まり、且つ投影されたパターンが座標変換の計算の精度悪化を招かない下限である最小撮影許容範囲よりも大きくなるように、投影されたパターンを撮影する。ここで、カメラ５の最大撮影有効範囲と最小撮影許容範囲との関係を図４（Ａ）に示す。最大撮影有効範囲及び最小撮影許容範囲は、予めカメラの種類により決まっているが、ユーザが操作部１０６を介してこれらの範囲の設定を変更できる。また、最大撮影有効範囲及び最小撮影許容範囲の情報は、カメラ５がＰＣ１に接続されたときにＨＤＤ２４に保存される。

プロジェクタ４の最大投影有効範囲を図４（Ｂ）に示す。この最大投影有効範囲はユーザが操作部１０６を介して設定する。

尚、最大撮影有効範囲、最小撮影許容範囲及び最大投影有効範囲は、ＰＣ２の遠隔地のユーザが、操作部２０４を介して設定してもよい。

図５は、座標変換の計算式を求めるための処理を示すフローチャートである。

まず、ＰＣ１は、操作者がプロジェクタ４及びカメラ５の位置調整をできるように前処理を実行する（ステップＳ１）。

その後、操作者は、前処理で得られた情報に基づいてプロジェクタ４及びカメラ５の位置調整を行う（ステップＳ２）。

最後に、ＰＣ１は、プロジェクタ４により投影された投影画像の各点の位置と当該画像がスクリーン６に投影されカメラ５で撮影された撮影画像の各点の位置との対応関係を決定する座標変換の計算式を算出し（ステップＳ３）、本処理を終了する。

図６は、図５のステップＳ１，Ｓ２の処理の詳細を示すフローチャートである。

まず、標準パターン作成部１０４は、カメラ５の最大撮影有効範囲に相当する枠がプロジェクタ４の最大投影有効範囲の枠に大きさと位置の点で一致するような拡大縮小及び平行移動の式（アフィン変換式）を算出する（ステップＳ１１）。この算出方法は、公知の方法を用いる。

標準パターン作成部１０４は、プロジェクタ４の投影画像の大きさと一致する黒画像を用意し、カメラ５の最大撮影有効範囲及び最小撮影許容範囲に相当する枠に上記アフィン変換式を適用し、変換された最大撮影有効範囲及び最小撮影許容範囲に相当する枠を赤色で当該黒画像上に描画する（ステップＳ１２）。以下、ステップＳ１２で得られた画像を標準パターンという。図７（Ａ）に標準パターンの一例を示す。

次いで、標準パターン作成部１０４は、標準パターンをプロジェクタ４に出力する（ステップＳ１３）。

プロジェクタ４は、標準パターンをスクリーン６に投影する（ステップＳ１４）。カメラ５は、スクリーン６に投影された標準パターンを撮影し、撮影された標準パターンを画像処理部１０３に出力する（ステップＳ１５）。

画像処理部１０３は、撮影された標準パターンを取得し、標準パターンの赤色枠（即ち、最大撮影有効範囲及び最小撮影許容範囲に相当する枠）を抽出し、青色に色変換し、色変換された最大撮影有効範囲及び最小撮影許容範囲に相当する枠に上記アフィン変換式（拡大縮小及び平行移動）を適用する（ステップＳ１６）。

その後、画像処理部１０３は、アフィン変換された青色の最大撮影有効範囲及び最小撮影許容範囲に相当する枠を標準パターンに重畳し、プロジェクタ４に出力する（ステップＳ１７）。プロジェクタ４は重畳された標準パターンをスクリーン６に投影する（ステップＳ１８）。図７（Ｂ）に青色の最大撮影有効範囲及び最小撮影許容範囲に相当する枠が重畳された標準パターンの一例を示す。ステップＳ１１〜Ｓ１８の処理が図５のステップＳ１に対応し、後述のステップＳ１９の処理が図５のステップＳ２に対応する。

次いで、プロジェクタ４及びカメラ５の操作者は、スクリーン６上に投影された青色の最大撮影有効範囲及び最小撮影許容範囲に相当する枠が重畳された標準パターンを見ながら、標準パターンの赤色の最大撮影有効範囲及び最小撮影許容範囲に相当する枠が長方形に見えるようにプロジェクタ４の位置を調整し、青色の最大撮影有効範囲に相当する枠が赤色の最大撮影有効範囲に相当する枠と最小撮影許容範囲に相当する枠との間に収まるようにカメラ５の位置を調整して（ステップＳ１９）、本処理を終了する。このとき、青色の最大撮影有効範囲に相当する枠が赤色の最大撮影有効範囲に相当する枠と最小撮影許容範囲に相当する枠との間に収まる条件の下で、青色の最大撮影有効範囲に相当する枠を最も大きくするように調整すると、撮影画像中の各点と投影画像中の各点との対応関係を精度良く求めることが可能になる。

ステップＳ１９で、カメラ５の操作者は、さらにカメラ５の画角を調整してもよい。また、プロジェクタ４が投影画像の歪みを補正する機能を備えている場合には、プロジェクタ４の操作者は、さらに投影画像の歪みを補正してもよい。また、プロジェクタ４の操作者は、スクリーン６上に投影及び撮影を希望する範囲がある場合には、投影された赤色の最大撮影有効範囲に相当する枠が同範囲を囲むようにプロジェクタ４の位置等を調整する。

尚、ステップＳ２１のプロジェクタ４及びカメラ５の調整中の場合、上記ステップＳ１４〜Ｓ１８の処理が繰り返し実行される。このため、プロジェクタ４及びカメラ５の調整中の場合は、青色の最大撮影有効範囲及び最小撮影許容範囲に相当する枠が重畳された標準パターンが、再度青色に変換されて新たな標準パターンに重畳されるおそれがある。

このような状態を防止するため、プロジェクタ４及びカメラ５の調整中の場合は、画像処理部１０３は、青色の最大撮影有効範囲及び最小撮影許容範囲に相当する枠が重畳された標準パターンから赤色だけを残すフィルタ処理、即ち、青色の最大撮影有効範囲及び最小撮影許容範囲に相当する枠を削除するフィルタ処理を実行し、赤色の最大撮影有効範囲及び最小撮影許容範囲に相当する枠が、青色に変換されて新たな標準パターンに重畳されるようにする。なお、プロジェクタ４及びカメラ５の調整中の場合に、カメラ５に赤色だけを透過させるフィルタレンズを装着してもよい。

図８は、図５のステップＳ３の処理の詳細を示すフローチャートである。

まず、標準パターン作成部１０４が、ＨＤＤ２４に格納されている黒画像と白画像とをそれぞれ８分割し、図９（Ａ）に示すような格子パターンを作成し、プロジェクタ４及び画像処理部１０３に出力する（ステップＳ２１）。この格子パターンの大きさは、プロジェクタ４の最大投影有効範囲に相当する。

プロジェクタ４は格子パターンをスクリーン６に投影する（ステップＳ２２）。カメラ５はスクリーン６上の格子パターンを撮影し、画像処理部１０３に出力する（ステップＳ２３）。このとき、撮影された格子パターンの一例を図９（Ｂ）に示す。

画像処理部１０３は、撮影された格子パターンに含まれる４点以上の格子点の位置と、標準パターン作成部１０４から取得した格子パターンに含まれる４点以上の格子点の位置との対応関係に基づいて、撮影画像から投影画像への座標変換の計算式を算出して（ステップＳ２４）、本処理を終了する。尚、撮影画像から投影画像への座標変換の計算式は、ＨＤＤ２４に格納される。撮影画像をスクリーンに投影する場合に、制御部１０１はＨＤＤ２４に格納された撮影画像から投影画像への座標変換の計算式を読み出して使用する。

以上詳細に説明したように、本実施の形態によれば、画像処理部１０３は、プロジェクタ４によって投影されたプロジェクタ４の投影有効範囲及びカメラ５の最大撮影有効範囲を示す標準パターンがカメラ５で撮影されることにより撮影画像を取得し、当該撮影画像のうち標準パターンを色変換し、カメラ５の最大撮影有効範囲とプロジェクタ４の投影有効範囲との比率に応じて、色変換された標準パターンを拡大又は縮小し、拡大又は縮小された標準パターンを投影前の標準パターンに重畳しプロジェクタ４に出力する。よって、カメラ５及びプロジェクタ４の相対的な位置関係をプロジェクタ４からの投影画像によってカメラ５及びプロジェクタ４の操作者に認識させることができる。

カメラ５及びプロジェクタ４のうち少なくとも一方の位置が調整されている場合に、画像処理部１０３は、重畳された標準パターンから色変換され且つ拡大又は縮小された標準パターンを削除するフィルタ処理を実行するので、色変換され且つ拡大又は縮小された標準パターンが、再度色変換され且つ拡大又は縮小されて新たな標準パターンに重畳されることを防止できる。カメラ５が、重畳された標準パターンから色変換され且つ拡大又は縮小された標準パターンを削除するフィルタレンズを備えている場合も、これと同様の効果を奏する。

（第２の実施の形態）
図１０は、図７（Ａ）の標準パターンの変形例を示す図である。

同図において、赤色の最大撮影有効範囲及び最小撮影許容範囲に相当する枠にそれぞれ１画素間隔、２画素間隔、及び４画素間隔の黒線によるスリットが形成されている。

この標準パターンは、上述した図６のステップＳ１４〜Ｓ１８に従って、色変換及びアフィン変換を実行された標準パターンと重畳して、プロジェクタ４を介してスクリーン６に投影される。

よって、カメラ５の操作者は、青色で投影された枠に形成された黒線のスリットを見て、カメラ５のピント調整を実行することができる。例えば、黒線のスリットが明確にスクリーン上に投影されている場合には、カメラ５の操作者は、カメラ５のピントが投影画像に合っていることを把握でき、黒線のスリットが明確にスクリーン上に投影されていない場合には、カメラ５の操作者は、カメラ５のピントが投影画像に合っていないことを把握できる。カメラ５の操作者は、幅の異なる複数のスリットの全てが明確にスクリーン上に投影されるようにカメラ５のピント調整を行うと、カメラ５のピントを精度よく投影画像に合わせることができる。また、この標準パターンによれば、カメラ５の撮影状態を確認するモニタなどの機器が不要になる。

プロジェクタ４の操作者は、赤色で投影された枠に形成された黒線のスリットを見て、プロジェクタ４のピント調整を実行することができる。プロジェクタ４の操作者は、幅の異なる複数のスリットの全てが明確にスクリーン上に投影されるようにプロジェクタ４のピント調整を行うと、プロジェクタ４のピントを精度よく投影画像に合わせることができる。

赤色の最大撮影有効範囲及び最小撮影許容範囲に相当する枠の形状は長方形に限定するものではなく、例えば、長方形の４隅が曲線状に形成されていてもよい。黒線によるスリットは最大撮影有効範囲及び最小撮影許容範囲に相当する枠の少なくとも一辺に形成されていてもよい。スリットの数は単数でも複数でもよい。

また、図１０では、最大撮影有効範囲及び最小撮影許容範囲に相当する枠の少なくとも一辺の中心から外側に向けて間隔が広くなる黒線のスリットが形成されているが、最大撮影有効範囲及び最小撮影許容範囲に相当する枠の少なくとも一辺の中心から外側に向けて間隔が狭くなる黒線のスリットが形成されていてもよい。この場合、等間隔にスリットが形成されている場合よりもカメラ５のピントを精度よく投影画像に合わせることができる。

また、最大撮影有効範囲及び最小撮影許容範囲に相当する枠の少なくとも一辺の中心から外側に向けて不規則な間隔の黒線のスリットが形成されていてもよい。この場合も、等間隔にスリットが形成されている場合よりもカメラ５のピントを精度よく投影画像に合わせることができる。

以上詳細に説明したように、本実施の形態によれば、標準パターンにスリットが形成されているので、プロジェクタ４及びカメラ５の操作者はプロジェクタ４により投影されたスリットを見ながらプロジェクタ４及びカメラ５のピント調整を実行することができる。

また、標準パターンにスリットが複数本形成されている場合は、プロジェクタ４及びカメラ５のピント調整の精度を向上することができる。

さらに、複数本のスリットの間隔が、標準パターンの少なくとも１辺の中心から外側に向けて広がる又は狭くなる若しくは不規則である場合は、スリットが等間隔に形成されている場合と比べて、プロジェクタ４及びカメラ５のピント調整の精度を向上することができる。

（第３の実施の形態）
本実施の形態では、上記ステップＳ１９のカメラ５の操作者が実行していたカメラ５の調整をＰＣ１で実行する。

本実施の形態では、カメラ５としてＰＴＺ（Pan Tilt Zoom）カメラを使用する。ＰＴＺカメラは、カメラの向きを上下左右に変更可能であると共にズーム調整も可能である。ＰＴＺカメラの向き及びズームの調整は、制御部１０１からの制御信号に基づいて実行される。

図１１は、図６のフローチャートの変形例を示すフローチャートである。尚、図６のステップと同一の処理については、同一のステップ番号を付し、その説明は省略する。

ステップＳ１２の処理後、ＰＴＺカメラは制御部１０１の制御に従ってスクリーン６を撮影し、撮影画像を画像処理部１０３に出力し（ステップＳ３１）、ステップＳ１３に進む。

ステップＳ１４の処理後、ＰＴＺカメラは制御部１０１の制御に従って標準パターンが投影されたスクリーン６を撮影し、撮影画像を画像処理部１０３に出力する（ステップＳ３２）。

尚、ステップＳ３１及びステップＳ３２では、ＰＴＺカメラはスクリーン６を撮影するが、スクリーン６を含む空間を撮影をしてもよい。但し、スクリーン６はＰＴＺカメラの最小撮影許容範囲よりも大きく撮影される必要がある。

画像処理部１０３は、ステップＳ３１の撮影画像とステップＳ３２の撮影画像の差分から標準パターンの赤色枠（即ち、最大撮影有効範囲及び最小撮影許容範囲に相当する枠）を抽出し、青色に色変換し、色変換された最大撮影有効範囲及び最小撮影許容範囲に相当する枠に上記アフィン変換式（拡大縮小及び平行移動）を適用する（ステップＳ３３）。

その後、画像処理部１０３は、アフィン変換された青色の最大撮影有効範囲及び最小撮影許容範囲に相当する枠を標準パターンに重畳する（ステップＳ３４）。

次に、制御部１０１は、青色の最大撮影有効範囲に相当する枠が赤色の最大撮影有効範囲に相当する枠と最小撮影許容範囲に相当する枠との間に収まっているか否かを判別する（ステップＳ３５）。

ステップＳ３５でＹＥＳの場合には、本処理を終了する。一方、ステップＳ３５でＮＯの場合には、制御部１０１は、青色の最大撮影有効範囲に相当する枠が赤色の最大撮影有効範囲に相当する枠と最小撮影許容範囲に相当する枠との間に収まるような、ＰＴＺカメラの向き又はズームの調整を示す信号をＰＴＺカメラに出力し（ステップＳ３６）、ステップＳ３２に進む。

本処理によれば、撮影された標準パターンの最大撮影有効範囲に相当する枠が元の標準パターンの最大撮影有効範囲に相当する枠と最小撮影許容範囲に相当する枠との間に収まるように、ＰＴＺカメラの向き及びズームを自動調整することができる。

また、ＰＴＺカメラがピント調整機能を有する場合には、図１０のスリットが形成されている標準パターンを使用することで、ＰＴＺカメラの向き、ズーム、及びピントの調整が可能になる。この場合、上記図１１のフローチャートに図１２に示す処理が追加される。

具体的には、ステップＳ３６の処理後、制御部１０１は、赤色の最大撮影有効範囲又は最小撮影許容範囲に相当する枠の明度（具体的には、最大明度Imax及び最小明度Imin）を測定する（ステップＳ３７）。

図１３（Ａ），（Ｂ）に、スリット部分の明度のグラフを示す。図１３（Ａ）は、ＰＴＺカメラのピントが投影画像に合っている場合を示し、図１３（Ｂ）はＰＴＺカメラのピントが投影画像に合っていない場合を示す。図１３（Ａ）のように、ＰＴＺカメラのピントが投影画像に合っている場合は、スリットの黒色部分で明度は、最小明度Iminになり、枠の赤色部分の明度は、最大明度Imaxとなる。一方、図１３（Ｂ）のように、ＰＴＺカメラのピントが投影画像に合っていない場合は、例えばスリットの黒色部分がつぶれてしまい、その最小明度Iminは図１３（Ａ）の場合よりも高い値を採る。

制御部１０１は、測定された最大明度Imax及び最小明度Iminに基づいてコントラスト値（＝（Imax−Imin）／（Imax＋Imin））を算出する（ステップＳ３８）。尚、制御部１０１は、コントラスト値として最大明度Imax及び最小明度Iminの正規化した値を算出したが、コントラスト値は、測定された最大明度Imax及び最小明度Iminの差分でもよい。

コントラスト値はＰＴＺカメラのピントが投影画像に合っている場合に高い値を採る。制御部１０１は、ＰＴＺカメラのフォーカスの設定を切り換えて、投影画像を撮影し、ステップＳ３７，Ｓ３８の処理を繰り返す（ステップＳ３９）。

制御部１０１は、ＰＴＺカメラのフォーカスの設定をコントラスト値が最大の場合のフォーカスの設定に切り換えて（ステップＳ４０）、ステップＳ３２に進む。図１３（Ｃ）にＰＴＺカメラのフォーカスの設定とコントラスト値との関係を示す。同図の場合には、制御部１０１は、ＰＴＺカメラのフォーカスの設定を３ｍに設定する。

ステップＳ３７〜Ｓ４０の処理によれば、ＰＴＺカメラのピントを自動調整することができる。

以上詳細に説明したように、本実施の形態によれば、制御部１０１がＰＴＺカメラの向き、ズーム及びピントのうち少なくとも１つを制御するので、ＰＴＺカメラによって投影された標準パターンを適切に撮影することができる。

また、制御部１０１は、画像処理部１０３により重畳された標準パターンに基づいて、拡大又は縮小された標準パターンに示された撮影装置の最大撮影有効範囲が、投影前の標準パターンに示された撮影装置の最大撮影有効範囲及び最小撮影許容範囲の間に収まっているか否かを判別し（ステップＳ３５）、ステップＳ３５でＮＯの場合に、拡大又は縮小された標準パターンに示された撮影装置の最大撮影有効範囲が投影前の標準パターンに示された撮影装置の最大撮影有効範囲及び最小撮影許容範囲の間に収まるように前記撮影装置の向き又はズームを制御する。よって、撮影画像から投影画像への座標変換式を求めるための補助（前処理）が実行できる。換言すると、投影画像中の各点と撮影画像中の各点との対応関係を求めるための補助が実行できる。

さらに、制御部１０１は、複数のフォーカスの設定でＰＴＺカメラによって投影された複数の標準パターンのうち、ＰＴＺカメラの最大撮影有効範囲又は最小撮影許容範囲に相当する枠上のスリット部分及び非スリット部分の明度の差分が最大となる標準パターンに対応するフォーカスの設定でＰＴＺカメラのピントを制御する。よって、スリット部分が鮮明に投影された標準パターンに対応するフォーカスの設定で、撮像装置のピントを自動調整することができる。

（第４の実施の形態）
本実施の形態は、図１４に示すようにカメラ５を移動させるロボットアーム７（移動手段）がカメラ５に接続されている。ロボットアーム７の動作は、制御部１０１により制御される。カメラ５は、ビデオカメラでも、ＰＴＺカメラでもよい。

本実施の形態では、図１１のフローチャートと概ね同様の処理が実行されるが、ステップＳ３６の処理が異なる。

青色の最大撮影有効範囲に相当する枠が赤色の最大撮影有効範囲に相当する枠と最小撮影許容範囲に相当する枠との間に収まらない場合に（ステップＳ３５でＮＯの場合）、制御部１０１は、青色の最大撮影有効範囲に相当する枠が赤色の最大撮影有効範囲に相当する枠と最小撮影許容範囲に相当する枠との間に収まるようにロボットアーム７を動作せる信号をロボットアーム７に出力し、ステップＳ３２に進む。

本実施の形態によれば、制御部１０１がロボットアーム７によるカメラ５の移動位置を制御するので、第３の実施の形態よりも自由度の高いカメラの位置調整を実行できる。

尚、上記第１〜第４の実施の形態では、カメラ５はプロジェクタ４の投影画像を含むように撮影するので、ＰＣ２の表示部２０５で撮影画像を表示する際に、ＰＣ２の表示部２０５は、プロジェクタ４の最大投影有効範囲の情報を当該撮影画像に重畳して表示してもよい。この場合、プロジェクタ４の最大投影有効範囲の情報がＰＣ１側にある場合は、その情報をＰＣ２の制御部２０１に送信する。これにより、ＰＣ２のユーザは、表示部２０５に表示される最大投影有効範囲内に書き込まれたアノテーション画像がプロジェクタ４側のユーザに伝達されることを把握できる。

また、画像処理部１０３は、プロジェクタ４の投影対象の画像にカメラ５の最大撮影有効範囲の情報（即ち、赤色の外側の枠）を重畳してプロジェクタ４に出力するようにしてもよい。これにより、カメラ５の最大撮影有効範囲の情報が投影されるため、プロジェクタ４側のユーザは、カメラ５の最大撮影有効範囲内に書き込まれた情報がＰＣ２のユーザに伝達されることを把握できる。

ＰＣ１の機能を実現するためのソフトウェアのプログラムが記録されている記録媒体を、ＰＣ１に供給し、ＰＣ１のＣＰＵが記憶媒体に格納されたプログラムを読み出し実行することによっても、上記第１〜第４の実施の形態と同様の効果を奏する。プログラムを供給するための記憶媒体としては、例えば、ＣＤ−ＲＯＭ、ＤＶＤ、又はＳＤカードなどがある。

また、ＰＣ１のＣＰＵが、ＰＣ１の機能を実現するためのソフトウェアのプログラムを実行することによっても、上記第１〜第４の実施の形態と同様の効果を奏する。

なお、本発明は、上述した第１〜第４の実施の形態に限定されるものではなく、その要旨を逸脱しない範囲内で種々変形して実施することが可能である。

本発明の第１の実施の形態に係る撮影像変換装置を含む遠隔指示システムの構成を示すブロック図である。 ＰＣ１〜２の機能構成を示すブロック図である。 ＰＣ１のハードウエア構成を示すブロック図である。 （Ａ）はカメラ５の最大撮影有効範囲と最小撮影許容範囲との関係を示す図であり、（Ｂ）はプロジェクタ４の最大投影有効範囲の一例を示す図である。 座標変換の計算式を求めるための処理を示すフローチャートである。 図５のステップＳ１，Ｓ２の処理の詳細を示すフローチャートである。 （Ａ）は標準パターンの一例を示す図であり、（Ｂ）は青色の最大撮影有効範囲及び最小撮影許容範囲に相当する枠が重畳された標準パターンの一例を示す図である。 図５のステップＳ３の処理の詳細を示すフローチャートである。 （Ａ）は標準パターン作成部１０４で作成される格子パターンの一例を示す図であり、（Ｂ）は撮影された格子パターンの一例を示す図である。 第２の実施の形態における、図７（Ａ）の標準パターンの変形例を示す図である。 第３の実施の形態における、図６のフローチャートの変形例を示すフローチャートである。 図１１のフローチャートに追加される処理の一例を示すフローチャートである。 （Ａ）はＰＴＺカメラのピントが投影画像に合っている場合のスリット部分の明度のグラフを示す図であり、（Ｂ）はＰＴＺカメラのピントが投影画像に合っていない場合のスリット部分の明度のグラフを示す図であり、（Ｃ）はＰＴＺカメラのフォーカスの設定とコントラスト値との関係を示す図である。 第４の実施の形態に係る撮影像変換装置を含む遠隔指示システムの構成を示すブロック図である。

符号の説明

１，２ ＰＣ
３ ネットワーク
４ プロジェクタ
５ カメラ
１０１ 制御部
１０２ 送受信部
１０３ 画像処理部
１０４ 標準パターン作成部
１０５ インタフェース（ＩＦ）部
１０６ 操作部

Claims (11)

1. 少なくとも一方の位置の調整が可能な投影装置及び撮影装置と接続する接続手段と、
   前記撮影装置の最大撮影有効範囲が前記投影装置の投影有効範囲と大きさ及び位置の点で一致するような変換式を算出し、前記撮影装置の種類又は設定操作で決定される前記撮影装置の最大撮影有効範囲及び最小撮影許容範囲に前記変換式を適用し、変換された最大撮影有効範囲及び最小撮影許容範囲を前記投影装置の投影画像の大きさと一致する所定の画像上に描画した標準パターンを作成する作成手段と、
   前記投影装置によって投影された前記標準パターンが前記撮影装置で撮影されることにより撮影画像を取得する取得手段と、
   前記撮影画像のうち、前記撮影装置の最大撮影有効範囲及び最小撮影許容範囲を抽出し色変換する色変換手段と、
   前記撮影装置の最大撮影有効範囲と前記投影装置の投影有効範囲との比率に応じて、前記色変換された最大撮影有効範囲及び最小撮影許容範囲を拡大又は縮小する拡大縮小手段と、
   前記拡大又は縮小された最大撮影有効範囲及び最小撮影許容範囲を投影前の標準パターンに重畳する重畳手段と、
   前記重畳手段により重畳された標準パターンを前記投影装置に出力する出力手段と
   を備えることを特徴とする画像処理装置。
2. 前記投影装置及び前記撮影装置のうち少なくとも一方の位置が調整されている場合に、前記重畳手段により重畳された標準パターンから前記色変換され且つ拡大又は縮小された最大撮影有効範囲及び最小撮影許容範囲を削除する削除手段を備えることを特徴とする請求項１に記載の画像処理装置。
3. 前記投影装置及び前記撮影装置のうち少なくとも一方の位置が調整されている場合に、前記撮影装置が、前記重畳手段により重畳された標準パターンから前記色変換され且つ拡大又は縮小された最大撮影有効範囲及び最小撮影許容範囲を削除する削除手段を備えることを特徴とする請求項１に記載の画像処理装置。
4. 前記標準パターン内の最大撮影有効範囲及び最小撮影許容範囲にスリットを形成したことを特徴とする請求項１又は２に記載の画像処理装置。
5. 前記スリットは複数本形成されていることを特徴とする請求項４に記載の画像処理装置。
6. 前記複数本のスリットの間隔は、前記最大撮影有効範囲及び最小撮影有効範囲の少なくとも１辺の中心から外側に向けて広がる又は狭くなる若しくは不規則であることを特徴とする請求項５に記載の画像処理装置。
7. 前記撮影装置の向き、ズーム及びピントのうち少なくとも１つを制御する制御手段を備えることを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記重畳手段により重畳された標準パターンに基づいて、前記拡大又は縮小された最大撮影有効範囲が、前記投影前の標準パターンに示された撮影装置の最大撮影有効範囲及び最小撮影許容範囲の間に収まっているか否かを判別する判別手段を備え、
   前記制御手段は、前記拡大又は縮小された最大撮影有効範囲が前記投影前の標準パターンに示された撮影装置の最大撮影有効範囲及び最小撮影許容範囲の間に収まっていない場合に、前記拡大又は縮小された最大撮影有効範囲が前記投影前の標準パターンに示された撮影装置の最大撮影有効範囲及び最小撮影許容範囲の間に収まるように前記撮影装置の向き又はズームを制御することを特徴とする請求項７に記載の画像処理装置。
9. 前記標準パターンに示された撮影装置の最大撮影有効範囲又は最小撮影許容範囲に相当する枠上にスリットが形成され、
   前記撮影装置は、複数のフォーカスの設定で前記投影装置によって投影された標準パターンを複数撮影し、
   前記制御手段は、前記複数の標準パターンのうち、前記撮影装置の最大撮影有効範囲又は最小撮影許容範囲に相当する枠上のスリット部分及び非スリット部分の明度の差分が最大となる標準パターンに対応するフォーカスの設定で前記撮影装置のピントを制御することを特徴とする請求項７又は８に記載の画像処理装置。
10. 前記接続手段は、前記撮影装置を移動させる移動手段と接続し、
    前記制御手段は、前記移動手段による前記撮影装置の移動位置を制御することを特徴とする請求項７乃至９のいずれか１項に記載の画像処理装置。
11. コンピュータを、
    少なくとも一方の位置の調整が可能な投影装置及び撮影装置と接続する接続手段、
    前記撮影装置の最大撮影有効範囲が前記投影装置の投影有効範囲と大きさ及び位置の点で一致するような変換式を算出し、前記撮影装置の種類又は設定操作で決定される前記撮影装置の最大撮影有効範囲及び最小撮影許容範囲に前記変換式を適用し、変換された最大撮影有効範囲及び最小撮影許容範囲を前記投影装置の投影画像の大きさと一致する所定の画像上に描画した標準パターンを作成する作成手段、
    前記投影装置によって投影された前記標準パターンが前記撮影装置で撮影されることにより撮影画像を取得する取得手段、
    前記撮影画像のうち、前記撮影装置の最大撮影有効範囲及び最小撮影許容範囲を抽出し色変換する色変換手段、
    前記撮影装置の最大撮影有効範囲と前記投影装置の投影有効範囲との比率に応じて、前記色変換された最大撮影有効範囲及び最小撮影許容範囲を拡大又は縮小する拡大縮小手段、
    前記拡大又は縮小された最大撮影有効範囲及び最小撮影許容範囲を投影前の標準パターンに重畳する重畳手段、及び
    前記重畳手段により重畳された標準パターンを前記投影装置に出力する出力手段
    として機能させることを特徴とするプログラム。

Images