JP4374468B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、複数枚の部分画像を入力し、貼り合わせて一枚の画像に統合を行う画像処理装置及び画像処理方法に関する。特には、液晶プロジェクタ等から成る投影部によって入力対象面に対して矩形マスクを用いて統合される部分画像の位置指定を行い、その矩形マスクをスキャンさせながら撮像部で部分画像として撮像し、その既知の矩形マスク位置に基づき歪みなく画像を貼り合わせ合成することができる画像処理装置及び画像処理方法に関する。
【０００２】
【従来の技術】
近年、スキャナなどからでなくＣＣＤ（Charge Coupled Device）カメラのような撮像装置で撮影した複数枚の画像を貼り合わせ、一枚の画像を高精細画像として生成する画像合成方法などの画像処理に関する研究開発が盛んに行われている。
【０００３】
画像合成を用いた従来の高精細静止画入力装置においては、入力対象となる画平面の法線ベクトルと撮像部の光軸が平行になるように、該撮像部が配置されている。この従来の高精細静止画入力装置において、画平面の法線ベクトルと撮像部の光軸の平行関係を保ちながら撮像部を画平面と平行な方向に移動させて撮影を行う。そして、撮影した部分画像を貼り合わせて一枚の合成画像を生成していた。以下、従来の画像処理装置について説明する。
【０００４】
図２８は、従来の画像処理装置の構成図である。図２８において、従来の画像処理装置は、絵画等の入力対象面２８１０の部分画像を撮像する撮像部２８０１と、撮像部２８０１を横方向に移動する横方向駆動部２８０２と、撮像部２８０１を縦方向に移動する一対の縦方向駆動部２８０３ａ、２８０３ｂと、入力開始時の撮像部２８０１の位置（ｘb，ｙb）、撮像部２８０１のｘ方向最大移動量ｘmax、撮像部２８０１のｙ方向最大移動量ｙmax、及び撮像部２８０１の移動のステップ幅（ｘs，ｙs）を入力する制御指示入力部２８０４と、制御指示入力部２８０４から入力された指示に基づいて、次の撮像点での撮像部２８０１の位置（ｘc，ｙc）を計算して出力する撮像部位置計算部２８０５と、撮像部位置計算部２８０５からの出力である撮像部位置（ｘc，ｙc）で示される位置に撮像部２８０１を移動させるように横方向駆動部２８０２及び縦方向駆動部２８０３ａ、２８０３ｂに制御信号を出力し、移動終了を検知すると移動完了信号を出力する駆動制御部２８０６と、駆動制御部２８０６からの移動完了信号を受け、撮像部２８０１に撮像指示を出す撮像制御部２８０７と、入力対象面２８１０に示めされた画像全体を格納することができるサイズのメモリ領域（統合画像メモリ）を有する統合画像蓄積部２８０９と、撮像部位置（ｘc，ｙc）に基づいて統合画像蓄積部２８０９内に確保された統合画像メモリ上での対応する位置（ｉｘc，ｉｙc）を計算し、その統合画像メモリ上の（ｉｘc，ｉｙc）の位置に撮像部２８０１で撮像された撮像画像の統合を行う画像統合部２８０８と、を備えている。
【０００５】
ここで、横方向駆動部２８０２及び縦方向駆動部２８０３ａ、２８０３ｂは、駆動制御部２８０６からの出力である制御信号を受けて移動するステップモータ等から成る。
【０００６】
また、撮像部２８０１は、光軸を入力対象面２８１０に垂直に保った状態で横方向駆動部２８０２と縦方向駆動部２８０３ａ、２８０３ｂによって移動され、入力対象面２８１０の部分画像を撮影する。ここで、撮像部２８０１が移動する平面を、直交するｘ軸、ｙ軸によってｘｙ平面と定義する。このとき、図２８においては、横方向をｘ方向（矢印ｘ）、縦方向をｙ方向（矢印ｙ）とする。
【０００７】
図２９は、撮像部２８０１の撮像座標系を示す図である。図２９に示すように、例えば、その座標系が横駆動方向と縦駆動方向が直交している場合、横駆動方向にｘ軸２９０１、縦駆動方向にｙ軸２９０２を設定することで、撮像部２８０１が移動する平面を定義することができる。なお、この座標系の設定によって、撮像部２８０１の位置は、（ｘ，ｙ）座標値で特定することができる。
【０００８】
次に、上述した従来の画像処理装置の動作について図３０と図３１を参照しながら説明する。
【０００９】
図３０は、従来の画像処理装置の動作を示すフローチャートである。また、図３１は、入力対象面２８１０を示す図である。図３０において、まず利用者が制御指示入力部２８０４から制御指示情報を入力する（ステップ３００２）。
【００１０】
例えば、この制御指示情報は、図３１に示すように、撮像を開始する開始座標（ｘb，ｙb）、移動の刻みを示す移動座標（ｘs，ｙs）、及び移動量の最大値（ｘmax，ｙmax)によって表される。ここで、図３１において、撮像領域３１０１は、撮像部２８０１が１回の撮像で撮像できる領域である。
【００１１】
次に撮像部位置計算部２８０５において、撮像部位置（ｘc，ｙc）を以下に示した（数１）のように設定し出力する(ステップ３００３)。
（数１）
ｘc＝ｘb
ｙc＝ｙb
【００１２】
次に駆動制御部２８０６は、上記の撮像部位置（ｘc，ｙc）の位置に撮像部２８０１０が移動するように、横方向駆動部２８０２及び縦方向駆動部２８０３ａ、２８０３ｂに制御信号を出す。横方向駆動部２８０２及び縦方向駆動部２８０３ａ、２８０３ｂは、その制御信号に基づいて撮像部２８０１を移動させる（ステップ３００４）。そして、この移動の終了を駆動制御部２８０６が検知して移動完了信号を出力する。
【００１３】
次に、上記の移動完了信号を受けた撮像制御部２８０７は、撮像部２８０１に対して撮像指示を行う。撮像部２８０１は、撮像制御部２８０７からの指示に従って撮像を行い（ステップ３００５）、撮像画像を出力する。
【００１４】
次に、画像統合部２８０８は、撮像部位置計算部２８０５の出力する撮像部位置（ｘc，ｙc）に基づいて統合画像蓄積部２８０９に確保された統合画像メモリ上の対応する位置（ｉｘc，ｉｙc）を計算し、その統合画像メモリ上の座標（ｉｘc，ｉｙc）の位置に撮像画像の統合を行う（ステップ３００６）。そして、画像の統合処理が終了したら、統合完了信号を出力する。
【００１５】
次に、統合完了信号を受けた撮像部位置計算部２８０５は、値「ｘc」と「ｘmax」の大きさの比較を行う（ステップ３００７）。
【００１６】
ステップ３００７で、「ｘc」が「ｘmax」より小さければ、次の撮像を行う撮像部２８０１の位置を以下に示す（数２）のように計算し、ステップ３００４からの処理を繰り返す（ステップ３００８）。
（数２）
ｘc＝ｘc＋ｘs
ｙc＝ｙc
【００１７】
一方、ステップ３００７で、「ｘc」が「ｘmax」以上であれば、続いてｙcとｙmaxの大きさの比較を行う（ステップ３００９）。ここで、「ｙc」が「ｙmax」より小さければ、以下の（数３）に示すように、縦方向（y軸方向）へ撮像部２８０１を移動し、かつ横方向を初期値「ｘb」にリセットする（ステップ３０１０）。そして、ステップ３００４からの処理を繰り返す。
（数３）
ｘc＝ｘc
ｙc＝ｙc＋ｙs
【００１８】
また、ステップ３００９で、「ｙc」が「ｙmax」以上であれば、処理を終了する。
【００１９】
以上のようにして、従来の画像処理装置においては、撮像部２８０１で撮像可能な撮像領域３１０１の部分画像を貼り合わせて統合することにより、高精細な入力対象面２８１０の画像入力処理を行うことができる。
【００２０】
【発明が解決しようとする課題】
しかしながら、図２８に示すような従来の画像処理装置によれば、撮像部２８０１の光軸を入力対象面と垂直な状態に保持して撮像を行う必要があるため、入力対象面と同等の大きさの撮像部２８０１の移動が必要となり、画像処理装置全体が大型化してしまうという問題があった。
【００２１】
また、撮像部２８０１の光軸と入力対象面２８１０との位置関係を保持することによって統合画像の画像品質を一定に保つことができるため、横方向駆動部２８０２及び縦方向駆動部２８０３ａ、２８０３ｂが取り付けられている部分と、入力対象面２８１０を保持する部分との間の位置関係の誤差によって統合画像の品質が低下するという問題があった。
【００２２】
また、機械的に撮像部２８０１位置を決め、その撮像部２８０１の駆動情報に基づいて統合画像の生成を行うため、撮像部２８０１を駆動する駆動系の誤差によって統合画像の品質が低下するという問題があった。
【００２３】
したがって、本発明の目的は、上記問題点を解決するもので、装置の小型化が可能で、構造部や駆動部の精度に係わりなく統合画像の画質を高く保つことができる画像処理装置及び画像処理方法を提供することである。
【００２４】
【課題を解決するための手段】
上記目的を達成するため、本発明の画像処理装置は、 投影面にある所定の画像を分割して部分画像として撮像し、撮像した部分画像を統合して所定の画像の画像データを生成する画像処理装置であって、 キャリブレーション処理に用いる画像及び所定の画像の部分画像を撮像する撮像手段と、 キャリブレーション処理のための投影及び部分画像の位置指定を行う投影手段と、 投影手段の被投影面に定義される被投影面座標系と投影面に定義されるスクリーン座標系との間の座標変換パラメータを算出し、当該座標変換パラメータに基づいて撮像手段で撮像される所定の画像の投影面での領域を示す入力領域スクリーン座標を算出するキャリブレーション処理を行うキャリブレーション処理手段と、 撮像手段で撮像された所定の画像の部分画像を受け取り、該部分画像の統合処理を行って所定の画像の画像データを生成する画像入力統合処理手段と、を備え、 画像入力統合処理手段は、キャリブレーション処理手段で算出された入力領域スクリーン座標に基づいて所定の画像から分割される前記部分画像を決定し、 撮像手段は、画像入力統合処理手段で決定された部分画像を撮像する、ことを特徴とする。
【００２５】
ここで、キャリブレーション処理手段または画像入力統合処理手段の何れかの手段を動作可能にするモード入力手段を有するようにしてもよい。また、キャリブレーション処理手段で算出された座標変換パラメータと入力領域スクリーン座標を格納する矩形マスク投影パラメータ蓄積手段を備え、画像入力統合処理手段は、矩形マスク投影パラメータ蓄積手段に格納されている入力領域スクリーン座標に基づいて所定の画像から分割される部分画像を決定する、ようにしてもよい。また、撮像手段で撮像されている画像を表示するモニタ手段を備えることもできる。さらに、撮像手段をＣＣＤカメラにするとよい。
【００２６】
また、キャリブレーション処理手段は、撮像手段で撮像された撮像画像を取り込む画像取り込み手段と、 画像取り込み手段で取り込んだ撮像画像を格納する画像メモリと、 画像メモリに格納された撮像画像から入力対象面の頂点の位置を抽出し、抽出された位置に基づいて撮像手段の撮像平面に定義される撮像面座標系における頂点の撮像面座標値を算出する入力対象面頂点抽出手段と、 入力対象面頂点抽出手段で算出された入力対象面の頂点の撮像面座標値と、投影面に定義されるスクリーン座標系における予め準備された入力対象面の頂点のスクリーン座標値とに基づいて、撮像面・スクリーン座標間変換パラメータを推定する撮像面・スクリーン座標変換パラメータ推定手段と、 撮像面・スクリーン座標変換パラメータと入力対象面の頂点の撮像面座標値を格納するメモリと、 画像メモリに格納された撮像画像から投影手段で投影された投影光の頂点の撮像面座標値を抽出し、メモリに格納された撮像面・スクリーン座標変換パラメータによって投影光の頂点の撮像面座標値をスクリーン座標値に変換する投影光頂点抽出手段と、 投影光頂点抽出手段で変換された投影光の頂点のスクリーン座標値と、投影手段の被投影面に定義される被投影面座標系における予め準備された被投影面の有効投影範囲の被投影面座標値とからスクリーン・被投影面座標変換パラメータを推定し、当該スクリーン・被投影面座標変換パラメータを矩形マスク投影パラメータ蓄積手段に出力するスクリーン・被投影面座標変換パラメータ推定手段と、 メモリに格納された撮像面・スクリーン変換パラメータによって入力領域スクリーン座標を計算し、矩形マスク投影パラメータ蓄積手段に出力する入力範囲計算手段と、を有するようにするとよい。
【００２７】
本発明の画像処理装置においては、撮像部光軸と入力対象面を垂直な状態に保持しなくとも部分画像の撮像・入力が可能となり、装置の小型化が実現できる。
【００２８】
また、撮像部の撮像画像から画像処理によりキャリブレーション情報を抽出する構造になっているため、統合画像生成のための変換パラメータ推定精度が向上し、品質の高い統合画像を生成できる。
【００２９】
また、投影面は、それぞれの相対位置関係が既知の４点以上のドットなどの点または格子点からなるスクリーン基準点が配置されたスクリーン基準パターンを有し、 キャリブレーション処理手段は、 撮像手段で撮像された撮像画像を取り込む画像取り込み手段と、 画像取り込み手段で取り込んだ撮像画像を格納する画像メモリと、 画像メモリに格納された撮像画像からスクリーン基準パターン上のスクリーン基準点位置を抽出し、撮像面座標系におけるスクリーン基準点の座標値を出力するスクリーン基準点抽出手段と、 スクリーン基準パターン上のスクリーン基準点の座標値と、投影面に定義されるスクリーン座標系における予め準備された入力対象面の頂点のスクリーン座標値とに基づいて、撮像面・スクリーン座標間変換パラメータを最小２乗推定する撮像面・スクリーン座標変換パラメータ推定手段と、 画像メモリに格納された撮像画像から入力対象面の頂点の位置を抽出し、抽出された位置に基づいて撮像手段の撮像平面に定義される撮像面座標系における頂点の撮像面座標値を算出する入力対象面頂点抽出手段と、 撮像面・スクリーン座標変換パラメータと入力対象面の頂点の撮像面座標値を格納するメモリと、 画像メモリに格納された撮像画像から投影手段で投影された投影光の頂点の撮像面座標値を抽出し、メモリに格納された撮像面・スクリーン座標変換パラメータによって投影光の頂点の撮像面座標値をスクリーン座標値に変換する投影光頂点抽出手段と、 投影光頂点抽出手段で変換された投影光の頂点のスクリーン座標値と、投影手段の被投影面に定義される被投影面座標系における予め準備された被投影面の有効投影範囲の被投影面座標値とからスクリーン・被投影面座標変換パラメータを推定し、当該スクリーン・被投影面座標変換パラメータを矩形マスク投影パラメータ蓄積手段に出力するスクリーン・被投影面座標変換パラメータ推定手段と、 メモリに格納された撮像面・スクリーン変換パラメータによって入力領域スクリーン座標を計算し、矩形マスク投影パラメータ蓄積手段に出力する入力範囲計算手段と、を有するようにしてもよい。
【００３０】
これによってキャリブレーション処理の際にスクリーン基準パターンを用いることになり、最小２乗法により撮像面・スクリーン座標変換パラメータの推定精度を向上させ、統合画像の歪みの大幅な低減が可能となる。
【００３１】
また、キャリブレーション処理手段は、所定の投影基準点を有し投影手段によってキャリブレーション用に投影される投影基準画像の生成を行う投影基準画像生成手段と、 撮像手段で撮像した撮像画像を取り込む画像取り込み手段と、 画像取り込み手段で取り込んだ撮像画像を格納する画像メモリと、 画像メモリに格納された撮像画像から入力対象面の頂点の位置を抽出し、抽出された位置に基づいて撮像手段の撮像平面に定義される撮像面座標系における頂点の撮像面座標値を算出する入力対象面頂点抽出手段と、 入力対象面頂点抽出手段で算出された入力対象面の頂点の撮像面座標値と、投影面に定義されるスクリーン座標系における予め準備された入力対象面の頂点のスクリーン座標値とに基づいて、撮像面・スクリーン座標間変換パラメータを推定する撮像面・スクリーン座標変換パラメータ推定手段と、 撮像面・スクリーン座標変換パラメータと入力対象面の頂点の撮像面座標値を格納するメモリと、 画像メモリに格納された撮像画像から被投影面座標値が既知の投影基準点の撮像面座標値を抽出し、メモリに格納された撮像面・スクリーン座標変換パラメータによって、投影基準点の撮像面座標値をスクリーン座標値に変換して出力する投影基準点抽出手段と、 投影基準点のスクリーン座標値と既知の被投影面座標値に基づいてスクリーン・被投影面座標変換パラメータを推定し、矩形マスク投影パラメータ蓄積手段に出力するスクリーン・被投影面座標変換パラメータ最小２乗推定手段と、 メモリに格納された撮像面・スクリーン変換パラメータによって入力領域スクリーン座標を計算し、矩形マスク投影パラメータ蓄積手段に出力する入力範囲計算手段と、を有するようにしてもよい。
【００３２】
これによって、キャリブレーション処理の際に投影基準画像を用いることになり、最小２乗法によりスクリーン・被投影面座標変換パラメータの推定精度を向上させ、統合画像の歪みの大幅な低減が可能となる。
【００３３】
また、さらに、画像入力統合処理手段は、入力領域スクリーン座標で表される投影面上の領域内にある所定の画像の全ての部分画像が撮像手段によって撮像可能なように、部分画像に対応する矩形マスクの位置移動について、矩形マスクのサイズ、スキャン順序、スキャン刻み、移動領域横方向・縦方向最大値、移動領域横方向・縦方向最小値を計算する矩形マスクスキャン方策計算手段と、 部分画像の撮像のために配置される矩形マスクの位置を計算する矩形マスク投影位置計算手段と、 矩形マスクの位置に基づいて所定の単色の背景面上に所定の単色と異なる色の矩形マスクを配置した投影面上に投影される画像と同一でありかつスクリーン座標系の想定投影画像を生成する想定投影画像生成手段と、 矩形マスク投影パラメータ蓄積手段に蓄積された被投影面・スクリーン座標変換パラメータを用いて、想定投影画像に対応した被投影面座標系の被投影画像を生成する被投影画像生成手段と、 撮像手段で撮像された撮像画像を取り込む画像取り込み手段と、 撮像画像から矩形マスクを抽出して矩形マスク画像を生成する矩形マスク抽出手段と、 部分画像を統合画像の貼り合わせ位置に歪みなく貼り合わせるための射影変換パラメータを求める射影変換パラメータ推定手段と、 射影変換パラメータに基づいて撮像手段で撮像された部分画像の統合画像への貼り合わせを行う画像統合手段と、 統合画像を画像データとして蓄積する統合画像蓄積手段と、を備えることを特徴とする。
【００３４】
また、画像入力統合処理手段は、入力領域スクリーン座標で表される投影面上の領域内にある所定の画像の全ての部分画像が前記撮像手段によって撮像可能なように、部分画像に対応する矩形マスクの位置移動について、矩形マスクのサイズ、スキャン順序、スキャン刻み、移動領域横方向・縦方向最大値、移動領域横方向・縦方向最小値を計算する矩形マスクスキャン方策計算手段と、 部分画像の撮像のために配置される格子マスク及び矩形マスクの位置を計算する矩形マスク投影位置計算手段と、 矩形マスクの位置に基づいて所定の単色の背景面上に所定の単色と異なる色の矩形マスク、または単色の背景面上に所定の単色と異なる色の直交格子パターンから成る格子マスクを配置した画像をスクリーン座標系の想定投影画像として生成する想定投影画像生成手段と、 矩形マスク投影パラメータ蓄積手段に蓄積された被投影面・スクリーン座標変換パラメータを用いて、想定投影画像に対応した被投影面座標系の被投影画像を生成する被投影画像生成手段と、 撮像手段で撮像された撮像画像を取り込む画像取り込み手段と、
撮像画像から格子マスクを抽出して格子マスク画像を生成する格子マスク抽出手段と、 撮像画像から矩形マスクを抽出して矩形マスク画像を生成する矩形マスク抽出手段と、 部分画像を統合画像の貼り合わせ位置に歪みなく貼り合わせるための射影変換パラメータを、格子マスクの格子点から求める射影変換パラメータ最小２乗推定手段と、 射影変換パラメータを蓄積する射影変換パラメータ蓄積手段と、 射影変換パラメータ蓄積手段に蓄積されている射影変換パラメータに基づいて撮像手段で撮像された矩形マスクで示された部分画像を統合画像へ貼り合わせる画像統合手段と、 統合画像を画像データとして蓄積する統合画像蓄積手段と、を備えるようにするとよい。
【００３５】
また、さらに、撮像手段を駆動する駆動手段と、 駆動手段を制御する駆動処理手段と、を備え、 駆動処理手段は、撮像手段が画像入力統合処理手段で決定された部分画像を撮像するように駆動手段を制御する、ようにしてもよい。 このとき、利用者または他の装置などの外部からの駆動手段への指示入力を受け付ける駆動情報入力手段を備え、駆動処理手段は、撮像手段が前記画像入力統合処理手段で決定された部分画像を撮像するように、または、駆動情報入力手段から指示入力に応じて駆動手段を制御する、ようにすることができる。 さらに、駆動処理手段は、撮像手段がパン、チルト及びズーム動作を行うように駆動手段を制御することもできる。
【００３６】
また、画像入力統合処理手段は、入力領域スクリーン座標で表される投影面上の領域内にある所定の画像の全ての部分画像が撮像手段によって撮像可能なように、部分画像に対応する矩形マスクの位置移動について、矩形マスクのサイズ、スキャン順序、スキャン刻み、移動領域横方向・縦方向最大値、移動領域横方向・縦方向最小値を計算する矩形マスクスキャン方策計算手段と、 部分画像の撮像のために配置される矩形マスクの位置を計算する矩形マスク投影位置計算手段と、 矩形マスクの位置に基づいて所定の単色の背景面上に所定の単色と異なる色の矩形マスクを配置した投影面上に投影される画像と同一でありかつスクリーン座標系の想定投影画像を生成する想定投影画像生成手段と、 矩形マスク投影パラメータ蓄積手段に蓄積された被投影面・スクリーン座標変換パラメータを用いて、想定投影画像に対応した被投影面座標系の被投影画像を生成する被投影画像生成手段と、 撮像手段で撮像された撮像画像を取り込む画像取り込み手段と、 撮像画像から矩形マスクを抽出して矩形マスク画像を生成する矩形マスク抽出手段と、 部分画像を統合画像の貼り合わせ位置に歪みなく貼り合わせるための射影変換パラメータを求める射影変換パラメータ推定手段と、 射影変換パラメータに基づいて撮像手段で撮像された部分画像の統合画像への貼り合わせを行う画像統合手段と、 統合画像を画像データとして蓄積する統合画像蓄積手段と、を備え、 駆動処理手段は、駆動手段を制御する駆動制御手段と、 投影手段と撮像手段の同期制御を行うための制御情報を格納する制御情報蓄積手段と、 矩形マスク画像から矩形マスクの所定の画像中での位置を判定し、撮像手段のパン・チルト回転を駆動制御手段に指示するか、しないかを決定する撮像マスク位置判定手段と、 矩形マスク画像から撮像手段のパン・チルト量を推定するパン・チルト量推定手段と、 矩形マスク画像から矩形マスクの占める領域の画素数をカウントして撮像手段のズーム制御を駆動制御手段に指示するか、しないかを決定する撮像マスクサイズ判定手段と、 矩形マスク画像から撮像手段のズーム量を推定するズーム量推定手段と、 制御情報蓄積手段に格納された制御情報を参照して、撮像手段を移動さるせか、または移動を停止させ、その位置で撮像した画像を用いて貼り合わせ統合を行うかどうかを判定する撮像モード判定手段と、を備える、ようにしてもよい。
【００３７】
また、画像入力統合処理手段は、入力領域スクリーン座標で表される投影面上の領域内にある所定の画像の全ての部分画像が撮像手段によって撮像可能なように、部分画像に対応する矩形マスクの位置移動について、矩形マスクのサイズ、スキャン順序、スキャン刻み、移動領域横方向・縦方向最大値、移動領域横方向・縦方向最小値を計算する矩形マスクスキャン方策計算手段と、 部分画像の撮像のために配置される格子マスク及び矩形マスクの位置を計算する矩形マスク投影位置計算手段と、 矩形マスクの位置に基づいて所定の単色の背景面上に所定の単色と異なる色の矩形マスク、または単色の背景面上に所定の単色と異なる色の直交格子パターンから成る格子マスクを配置した画像を前記スクリーン座標系の想定投影画像として生成する想定投影画像生成手段と、 矩形マスク投影パラメータ蓄積手段に蓄積された被投影面・スクリーン座標変換パラメータを用いて、想定投影画像に対応した被投影面座標系の被投影画像を生成する被投影画像生成手段と、 撮像手段で撮像された撮像画像を取り込む画像取り込み手段と、 撮像画像から格子マスクを抽出して格子マスク画像を生成する格子マスク抽出手段と、 撮像画像から矩形マスクを抽出して矩形マスク画像を生成する矩形マスク抽出手段と、 部分画像を統合画像の貼り合わせ位置に歪みなく貼り合わせるための射影変換パラメータを、格子マスクの格子点から求める射影変換パラメータ最小２乗推定手段と、 射影変換パラメータを蓄積する射影変換パラメータ蓄積手段と、 射影変換パラメータ蓄積手段に蓄積されている射影変換パラメータに基づいて撮像手段で撮像された矩形マスクで示された部分画像を統合画像へ貼り合わせる画像統合手段と、 統合画像を画像データとして蓄積する統合画像蓄積手段と、を備え、 駆動処理手段は、駆動手段を制御する駆動制御手段と、 投影手段と撮像手段の同期制御を行うための制御情報を格納する制御情報蓄積手段と、 格子マスク画像から格子マスクの所定の画像中での位置を判定し、撮像手段のパン・チルト回転を駆動制御手段に指示するか、しないかを決定する撮像マスク位置判定手段と、 格子マスク画像から撮像手段のパン・チルト量を推定するパン・チルト量推定手段と、 格子マスク画像から格子マスクの占める領域の画素数をカウントして撮像手段のズーム制御を駆動制御手段に指示するか、しないかを決定する撮像マスクサイズ判定手段と、 格子マスク画像から撮像手段のズーム量を推定するズーム量推定手段と、 制御情報蓄積手段に格納された制御情報を参照して、撮像手段を移動さるせか、または移動を停止させ、その位置で撮像した画像を用いて貼り合わせ統合を行うかどうかを判定する撮像モード判定手段と、を備える、ようにしてもよい。
【００３８】
入力対象面の撮像の際に矩形パターンと格子パターンによって、撮像面・統合画像座標変換パラメータを求める際に格子点を用いることができ、最小２乗法により撮像面・統合画像座標変換パラメータの推定精度を向上させ、統合画像の歪みの大幅な低減が可能となる。
【００３９】
また、上記目的を達成するため、本発明の画像処理方法は、投影面にある所定の画像を分割して部分画像として撮像し、撮像した部分画像を統合して所定の画像の画像データを生成する画像処理方法であって、 投影面上の所定の画像を含む投光領域を撮像し、 撮像した画像をディジタル画像として取り込んで格納し、 所定の画像の４以上の頂点を撮像面座標値として抽出し、 撮像面座標値に基づいて撮像面座標系とスクリーン座標系間の撮像面・スクリーン座標変換パラメータを推定し、 ディジタル画像から投光領域の４以上の頂点を抽出して当該投光領域の撮像面座標値を求め、 投光領域の撮像面座標を撮像面・スクリーン座標変換パラメータによって投光領域のスクリーン座標値に変換し、 投光領域のスクリーン座標値に基づいて、スクリーン座標系と被投影面座標系との間のスクリーン・被投影面座標変換パラメータを推定し、 所定の画像の４以上の頂点を撮像面座標値を撮像面・スクリーン座標変換パラメータを用いてスクリーン座標値に変換し、 所定の画像の部分画像を決定する矩形マスクのスキャンパラメータを計算し、 スクリーン座標値及びスキャンパラメータに基づいて、撮像する部分画像の位置合わせを行い、 部分画像を撮像し、 撮像された部分画像を統合画像に貼り合わせ統合する、ことを特徴とする。
【００４０】
ここで、部分画像の位置合わせを行うステップは、投影する矩形マスクの位置を設定し、投影された矩形マスクが撮像できるように矩形マスクの位置決めを行う、ようにするとよいう。 また、部分画像の位置合わせを行うステップから統合するステップは、全ての部分画像について撮像及び統合処理が完了するまで繰り返されるようにするとよい。 ここで、矩形マスクのスキャンパラメータは、矩形マスクのサイズ、スキャン順序、スキャン刻み、横方向及び縦方向最大値、横方向及び縦方向最小値にすることができる。
【００４１】
また、部分画像の位置合わせを行うステップは、 スキャンパラメータに基づいて、矩形マスクの位置を計算し、 撮影面の背景色と異なる色の矩形マスクを配置した想定投影画像を生成し、 想定投影画像を前記スクリーン・被投影画像座標変換パラメータによって変換して被投影画像を生成し、 被投影画像の投影を行い、 矩形マスクを含む被投影画像を撮像画像として取り込み、 撮像画像に対して領域分割の処理を行って矩形マスクの領域を撮像画像から抽出して矩形マスク抽出画像を生成し、 矩形マスク抽出画像が撮像できるように矩形マスクの位置決めを行う、ようにすることができる。
【００４２】
さらに、統合するステップは、 矩形マスク抽出画像から矩形マスクの４つの頂点の撮像面座標を抽出し、 矩形マスクの４つの頂点の撮像面座標と統合画像の座標とから撮像面・統合画像座標変換パラメータを求め、 矩形マスク抽出画像中の矩形マスク領域を撮像面・統合画像座標変換パラメータによって変換して、統合画像座標値を求め、 統合画像座標値に基づいて、既に蓄積されている統合画像に撮像画像の貼り合わせ合成を行う、ようにするとよい。
【００４３】
以上に示すように、本発明の画像処理方法においては、撮像部光軸と入力対象面を垂直な状態に保持しなくとも部分画像の撮像・入力が可能となる。
【００４４】
また、撮像画像から画像処理によりキャリブレーション情報を抽出する構造になっているため、統合画像生成のための変換パラメータ推定精度が向上し、品質の高い統合画像を生成できる。
【００４５】
【発明実施の形態】
＜実施の形態１＞
以下、本発明の第１の実施の形態について、図面を参照しながら説明する。
【００４６】
図１は、本発明の画像処理装置の構成の一例を示す図である。図１において、本発明の画像処理装置は、後述するキャリブレーション処理に用いる画像の撮像及び入力対象面１１１を分割して入力することによって該入力対象面１１１の部分画像の撮像を行うＣＣＤ（Charge Coupled Device）カメラなどから成る撮像部１０１と、入力対象面１１１の部分画像の撮像の際に撮像部１０１のパン、チルト及びズーム動作を駆動する駆動部１０２と、入力対象面１１１の部分画像の撮像の際に撮像される部分の照明及び位置指定を兼ねた投影を行う投影部１０３と、投影部１０３の液晶パネルなどから成る被投影面に定義される平面座標系（以下、単に「被投影面座標系」ともいう）とスクリーンなどから成る投影面１１０に定義される平面座標系（以下、単に「スクリーン座標系」ともいう）の間の座標変換パラメータ及び入力対象となる入力対象面１１１の存在領域を示す入力領域スクリーン座標を算出する処理（以下、単に「キャリブレーション処理」ともいう）を行うキャリブレーション処理部１０７と、投影部１０３、撮像部１０１及び駆動部１０２を用いて撮像された入力対象面１１１の部分画像を統合処理する画像入力統合処理部１０９と、当該装置の利用者や他の制御装置（図示せず）などの外部からキャリブレーション処理または画像入力統合処理のいずれかの処理を選択する指示信号を受け付けるモード入力部１０４と、利用者などが駆動部１０２への指示入力を行う際に撮像部１０１の撮像範囲を確認するのに用いるモニタ部１１２と、キャリブレーション処理部１０７から出力される座標変換パラメータと入力領域スクリーン座標を格納する矩形マスク投影パラメータ蓄積部１０８と、を備えている。また、入力対象となる入力対象面１１１（例えば、絵画などの平面画像）は、投影面１１０に取り付けられている。
【００４７】
図２は、各座標系を示す図である。以下、図２を用いて座標系について説明する。図２において、スクリーン座標系２０１は、投影面１１０をｘｙ平面とし、矩形の入力対象面１１１の頂点の１つを原点（図２においては、入力対象面１１１の右下頂点）とし、その原点を通り、空間的にお互いに直交する３直線をＸw軸、Ｙw軸、Ｚw軸とする。ここで、図２においては、右下頂点をスクリーン座標系２０１の原点としているが、この原点は他のどの頂点に設定してもよい。このスクリーン座標系２０１の定義により、投影面１１０上に配置された入力対象面１１１の４頂点及び投影光輪郭四角形２０８の４頂点の位置関係をスクリーン座標値として定量化できる。ここで、このスクリーン座標系２０１における単位系は、メートル単位系などの既存の単位系で定義するとよい。
【００４８】
また、投影部座標系（Ｘp，Ｙp，Ｚp）２０２は、投影部１０３の投影中心を原点とし、投影部１０３の投影軸方向をｚ軸方向、液晶パネルなどの被投影面をｘｙ平面とする。ここで、被投影面座標系（ｘp，ｙp）２０３は、ＸpＹp平面に平行な被投影面上に定義される。そして、その原点は、投影部１０３の投影軸（Ｚp軸）がこの被投影面に交わる点にある。この被投影面座標系２０３も実際の液晶パネルサイズに合わせて定義するため、その単位系は、スクリーン座標系２０１における単位系と同一の単位系となる。
【００４９】
また、撮像部座標系２０４は、撮像部１０１のレンズ中心を原点とし、撮像部１０１の光軸方向をｚ軸方向、ＣＣＤ素子面をｘｙ平面とする。ここで、撮像面座標系（ｘc，ｙc）２０５は、ＸcＹc平面に平行なＣＣＤ素子面上に定義される。そして、その原点は、撮像部１０１の光軸（Ｚc軸）とこの撮像面が交わる点にある。この撮像面座標系２０５も実際のＣＣＤサイズに合わせて定義するため、その単位系は、スクリーン座標系２０１における単位系と同一の単位系となる。
【００５０】
また、図２において、投影部焦点距離（Ｆp）２０６及び撮像部焦点距離（Ｆc）２０７は、それぞれ投影部１０３及び撮像部１０１の焦点距離である。
【００５１】
図３は、キャリブレーション処理部１０７の構成の一例を示す図である。図３においては、図１と同一の構成には、図１と同一の符号を付している。
【００５２】
図３において、このキャリブレーション処理部１０７は、モード入力部１０４からキャリブレーション処理モードが出力された際に撮像部１０１の撮像画像の画像取り込みを行う画像取り込み部３０１と、撮像部１０１で撮像され画像取り込み部３０１で取り込んだ画像を格納する画像メモリ３０２と、画像メモリ３０２に格納された撮像画像に基づいて入力対象面１１１の頂点位置の撮像面座標を抽出する入力対象面頂点抽出部３０３と、入力対象面１１１の頂点座標（撮像面座標）と入力対象面１１１の頂点位置のスクリーン座標に基づいて撮像面・スクリーン座標変換パラメータを推定する撮像面・スクリーン座標変換パラメータ推定部３０４と、入力対象面１１１の頂点座標（撮像面座標）と撮像面・スクリーン座標変換パラメータを格納するメモリ３０８と、画像メモリ３０２に格納された撮像画像から投影部１０３で投影された投影光の頂点の撮像面座標値を抽出し、メモリ３０８に格納された撮像面・スクリーン座標変換パラメータに基づいてそれらの撮像面座標をスクリーン座標に変換して出力する投影光頂点抽出部３０５と、投影光頂点座標（スクリーン座標系２０１（図２））と既知の被投影面の有効投影範囲頂点の被投影面座標値からスクリーン・被投影面座標変換パラメータを推定し、出力するスクリーン・被投影面座標変換パラメータ推定部３０６と、メモリ３０８に格納された入力対象面１１１の頂点座標（撮像面座標）と同様にメモリ３０８に格納された撮像面・スクリーン座標変換パラメータを用いて入力領域スクリーン座標を計算する入力範囲計算部３０７と、を備えている。
【００５３】
図４は、画像入力統合処理部１０９の構成の一例を示す図である。図４において、図１と同一の構成については、図１と同一の符号を付している。
【００５４】
図４において、この画像入力統合処理部１０９は、撮像部１０１で撮像された画像の取り込みを行う画像取り込み部４０６と、モード入力部１０４から画像入力統合処理モードが出力された際に、入力対象面１１１の入力部分（分割入力を行うため、１度の撮像で入力される入力部分は入力対象面１１１の一部分になる）の位置指定のために投影される矩形マスクの移動方策（スキャン方策）に関連するスキャンパラメータを設定する矩形マスクスキャン方策計算部４０１と、スキャン方策に従った矩形マスクの配置位置を計算する矩形マスク投影位置計算部４０３と、単色背景面上に背景色と異なる色の矩形マスクを配置した想定投影画像（スクリーン座標系２０１（図２））を生成する想定投影画像生成部４０４と、想定投影画像を矩形マスク投影パラメータ蓄積部１０８に蓄積された被投影面・スクリーン座標変換パラメータによって変換し、被投影画像（被投影面座標系２０３（図２））を生成し、処理終了時に画像取り込み部４０６に処理終了を通知する被投影画像生成部４０５と、取り込み画像中から矩形マスク領域を抽出した矩形マスク抽出画像を生成する矩形マスク抽出部４０７と、矩形マスク抽出画像からその矩形マスク頂点を抽出し、部分画像を統合画像の貼り合わせ位置に歪みなく貼り合わせるための射影変換パラメータを求める射影変換パラメータ推定部４１３と、射影変換パラメータ推定部４１３で求められた射影変換パラメータに基づいて撮像された部分画像の統合画像への貼り合わせを行い、矩形マスク投影位置計算部４０３に終了を通知する画像統合部４１４と、画像統合部４１４で貼り合わされた統合画像を蓄積する統合画像蓄積部４１５と、を備えている。ここで、想定投影画像生成部４０４で生成された想定投影画像は、入力対象面１１１上に投影される投影像と同一の画像となる。
【００５５】
図５は、上述した画像処理装置の動作を示すフローチャートである。以下、上述した画像処理装置の動作について図１〜図５を用いて説明する。ここで、最初にキャリブレーション処理（ステップ５０２〜ステップ５１１）について説明する。
【００５６】
まず、モード入力部１０４において利用者などの入力によってキャリブレーション処理モードが設定されると（ステップ５０２）、投影部１０３が投光される（ステップ５０３）。この投影部１０３が投光された状態で、撮像部１０１は、投光領域を全て含むように撮像を行う（ステップ５０４）。この撮像は、例えば、利用者がモニタ部１１２を確認しながら駆動部１０２を操作してパン、チルト、ズームの制御を行うとよい。
【００５７】
次に、モード入力部１０４から指示を受けた画像取り込み部３０１は、撮像部１０１で撮像した画像をディジタル画像として取り込み、画像メモリ３０２に格納する。
【００５８】
図６は、撮像する画像の一例を示す図である。図６においては、投影面１１０と、投影光６０１と、入力対象面１１１の関係を示している。以降、この図６も用いて画像処理装置の動作について説明する。
【００５９】
入力対象面頂点抽出部３０３は、入力対象面１１１の頂点を画像処理により抽出して、その撮像面座標（ｘc，ｙc）をメモリ３０８に格納し、同時に撮像面・スクリーン座標変換パラメータ推定部３０４に出力する（ステップ５０５）。入力対象面１１１の４つの頂点全てについて抽出を完了したかチェックし（ステップ５０６）、完了していなければステップ５０５の処理を繰り返す。入力対象面１１１の４つの頂点の撮像面座標（ｘc，ｙc）は、例えば、入力対象面１１１の輪郭四角形の各辺の直線方程式をHough変換などで求め、その４直線の交点を求めることによって得ることができる。
【００６０】
次に撮像面・スクリーン座標変換パラメータ推定部３０４において、撮像面座標とスクリーン座標間の変換パラメータを入力対象面１１１の４つの頂点から推定し（ステップ５０７）、この変換パラメータをメモリ３０８に格納する。一般に、スクリーン上の点（Ｘw1，Ｙw1，０）と、その点が撮像された時の撮像面座標（ｘc1，ｙc1）は、以下に示される（数４）または（数５）のように表される（数４）
|ｋ＊Ｘw1| | l1 l2 l3 | |ｘc1|
|ｋ＊Ｙw1| ＝ | l5 l6 l7 | * |ｙc1|
| ｋ | | l8 l9 1 | | 1 |
ここで、記号 | |は行列を示す。
（数５）

ここで、Trans［］は転置行列を示し、記号 | |は行列を示す。
【００６１】
ここで、入力対象面１１１の４つの頂点の撮像面座標（ｘc1，ｙc1）及びスクリーン座標系での４つの頂点の座標（Ｘw1，Ｙw1，０）は既知、即ち、入力対象面１１１の縦横の長さを計測しておけば良いため、その対応を用いて（数４）の連立方程式を解くことにより、撮像面・スクリーン座標変換パラメータＬを推定することができる。
【００６２】
次に、投影光頂点抽出部３０５は、ディジタル画像より投影光６０１の輪郭四角形の４つの頂点を画像処理によって抽出し、その撮像面座標（ｘc2，ｙc2）を求める。そして、それら撮像面座標（ｘc2，ｙc2）を撮像面・スクリーン座標変換パラメータによりスクリーン座標（Ｘw2，Ｙw2，０）に変換する（ステップ５０８）。変換されたスクリーン座標（Ｘw2，Ｙw2，０）は、メモリ３０８に格納され、同時にスクリーン・被投影面座標変換パラメータ推定部３０６に出力される。そして、投影光６０１の輪郭四角形の４つの頂点全ての処理が終了するまで（ステップ５０９）、ステップ５０８の処理を繰り返す。投影光６０１の輪郭四角形の４つの頂点の撮像面座標（ｘc2，ｙc2）は、例えば、投影光６０１の輪郭四角形の各辺の直線の方程式をHough変換などで求め、その４直線の交点を求めることで得ることができる。
【００６３】
次に、スクリーン・被投影面座標変換パラメータ推定部３０６においてスクリーン座標系２０１と被投影面座標系２０３との間の変換パラメータを投影光６０１の輪郭四角形の４つの頂点を用いて推定し（ステップ５１０）、矩形マスク投影パラメータ蓄積部１０８に格納する。一般に、スクリーン上の点（Ｘw2，Ｙw2，０）とその点の液晶パネル上の被投影面座標（ｘp2，ｙp2）は、（数６）または（数７）のように表される。
（数６）
|ｋ＊ｘp2| | m1 m2 m3 | |Ｘw2|
|ｋ＊ｙp2|＝| m5 m6 m7 |＊|Ｙw2|
| ｋ | | m8 m9 1 | | 1 |
ここで、記号 | |は行列を示す。
（数７）

ここで、記号 | |は行列を示し、Trans［］は転置行列を示す。
【００６４】
上述のように、投影光６０１の輪郭四角形の４つの頂点の被投影面座標（ｘp2，ｙp2）は、液晶パネル上の有効被投影矩形領域の４つの頂点に対応するため、容易に求めることができる。よって、投影光６０１の輪郭四角形の４頂点の被投影面座標とスクリーン座標の双方が既知となるため、その対応を用いて（数６）の連立方程式を解くことにより、スクリーン・被投影面座標変換パラメータＭを推定することができる。
【００６５】
次に、入力範囲計算部３０７は、ステップ５０７の処理で得られ、メモリ３０８に格納された入力対象面１１１の４つの頂点の座標（ｘc1，ｙc1）を、メモリ３０８に格納された撮像面・スクリーン座標変換パラメータを用いて、スクリーン座標（Ｘw3，Ｙw3，０）に変換し、入力領域スクリーン座標として矩形マスク投影パラメータ蓄積部１０８に格納する（ステップ５１１）。
【００６６】
以上、ステップ５０２〜ステップ５１１の処理がキャリブレーション処理である。
【００６７】
次に、画像入力統合処理（ステップ５１２〜ステップ５１５）について説明する。まず、モード入力部１０４において利用者などの入力により画像入力統合モードが設定されると（ステップ５１２）、画像入力統合処理部１０９は、入力対象面１１１上でどのように部分画像を撮像するかに関して矩形マスクのスキャン方策を設定するためのスキャンパラメータを計算する（ステップ５１３）。
【００６８】
次に、画像入力統合処理部１０９は、スキャン方策で示された位置の部分画像を撮像するために撮像部１０１の撮像位置合わせを行う（ステップ５１４）。
【００６９】
この撮像位置合わせ処理（ステップ５１４）においては、まず、投影する矩形マスク位置を設定する（ステップ５１４ａ）。次に、全ての部分画像について撮像及び統合処理が完了したか判定する（ステップ５１４ｂ）。もし、全ての部分画像の撮像及び統合処理を完了していれば、画像入力統合処理を終了する。全ての部分画像の撮像及び統合処理を完了していなければ（ステップ５１４ｂ）、設定された矩形マスクを撮像部１０１が撮像できるように、矩形マスクの投影・撮像処理（位置合わせ）を行う（ステップ５１４ｃ）。
【００７０】
次に、画像入力統合処理部１０９において、撮像された部分画像を統合画像に貼り合わせ統合し（ステップ５１５）、ステップ５１４〜ステップ５１５の処理を繰り返す。
【００７１】
以上によって、画像入力統合は行われるが、以下に、ステップ５１３、ステップ５１４、及びステップ５１５に関して詳細にその動作について説明する。
【００７２】
（ステップ５１３の詳細説明）
図７は、図５のステップ５１３の処理を詳細に示すフローチャートである。図７において、まず、モード入力部１０４で利用者などの入力により画像入力統合モードが設定されると（図５のステップ５１２）、矩形マスクスキャン方策計算部４０１が予め与えられた解像度に基づき矩形マスクサイズ（Ｍx，Ｍy）を算出し、スキャン方策を決定する（ステップ７０１）。
【００７３】
例えば、矩形マスクサイズ（Ｍx，Ｍy）は、以下のように算出される。まず、撮像部１０１で撮像されるディジタル画像の画素数がｉx＊ｉy［pix］であり、実際に撮像される入力対象面１１１の領域サイズがｓx＊ｓy［mm］であるとき、その解像度をｉx／ｓx＊ｉy／ｓy［pix/mm］と定義する。このように、解像度を定義するとき、予め解像度ｒx＊ｒy［pix/mm］を設定しておくと、撮像部１０１で撮像する矩形マスク領域を画像内に収める場合のディジタル画像画素数ｉx0＊ｉy0［pix］を決めておけば、矩形マスクサイズＭx＊Ｍy［mm］は、（数８）のように設定される。
（数８）
Ｍx＝ｉx0／ｒx
Ｍy＝ｉy0／ｒy
【００７４】
ここで、スクリーン座標系２０１の単位を上述のようにメートル単位系にとれば、この（Ｍx，Ｍy）をそのままスクリーン座標に当てはめて矩形マスクを配置することができる。つまり、撮像画面内の設定領域にこの矩形マスクを撮像すれば、設定解像度に近い解像度での入力が可能となる。
【００７５】
図８は、矩形マスクサイズによって対象面１１１を部分画像に分割し、スキャン順序を設定する例を示す図である。図８（Ａ）は、矩形マスクサイズの格子である部分画像格子８０１によって部分画像に分割する様子を示し、図８（Ｂ）は、そのスキャン順序を示している。図８（Ｂ）に示すように、スキャン開始点８０２を始点として矢印のようにスキャンする方法が考えられる。この時、スキャンを行う上での横方向及び縦方向の最大値と横方向及び縦方向の最小値（いずれもスクリーン座標系２０１）を入力対象面１１１の存在領域を示す入力領域スクリーン座標によって計算しておくとよい。
【００７６】
次に、矩形マスクスキャン方策計算部４０１は、矩形マスクのスキャン刻み（横方向スキャン刻み：ｄx、縦方向スキャン刻み：ｄy）を計算する（ステップ７０２）。矩形マスクのスキャンは図８（Ｂ）に示したように矩形マスク位置に基づいて横方向スキャンと縦方向スキャンを選択して行う。以下に、矩形マスクのスキャン量について説明する。
【００７７】
図９は、矩形マスクのスキャン量を示す図である。図９（Ａ）は、スキャン刻み（ｄx，ｄy）を矩形マスク９０１のサイズに等しく取った場合（ｄx＝Ｍx，ｄy＝Ｍy）の横方向矩形マスクスキャンの例を示し、図９（Ｂ）は、スキャン刻み（ｄx，ｄy）を矩形マスク９０１のサイズと比較して小さく取った場合（ｄx＜Ｍx，ｄy＜Ｍy）の横方向矩形マスクスキャンの例を示している。なお、図９においては、横方向のみのスキャンの様子を示しているが縦方向についても図９（Ａ）及び（Ｂ）それぞれの場合において、上記説明のスキャン刻みと同じ刻みでスキャンするものとする。
【００７８】
図９（Ａ）に示すように、矩形マスク９０１のスキャン刻みを矩形マスク９０１のサイズに等しく移動（ｄx＝Ｍx，ｄy＝Ｍy）させると、矩形マスクの撮像が撮像領域内に大きくズームアップして撮像することになるため、矩形マスクスキャンの度に矩形マスク９０１が撮像部１０１における撮像範囲の外にはみ出てしまう。このため、次の撮像のために撮像部１０１に対してどのようにパン、チルト、ズームの制御を行って良いのか判断が困難になる。
【００７９】
一方、図９（Ｂ）のように、スキャン刻みを矩形マスク９０１のサイズと比較して小さく取った場合（ｄx＜Ｍx，ｄy＜Ｍy）、矩形マスク９０１が移動した後も矩形マスク９０１が撮像領域中に入っている確率が高くなる。したがって、その撮像された矩形マスク９０１の重心位置の移動方向及び移動量からパン、チルト、ズームの撮像部制御量を推定し、撮像部１０１の撮像領域の移動を実現することができる。
【００８０】
以上に示したように、矩形マスク９０１のスキャン刻みは、矩形マスク９０１のサイズ（Ｍx，Ｍy）に比較して十分小さく設定されるのが好ましい。
【００８１】
以上により、矩形マスクスキャン方策計算部４０１は、矩形マスクサイズ、スキャン順序、スキャン刻み、横方向及び縦方向最大値、横方向及び縦方向最小値のスキャンパラメータの設定を行い、処理終了後に矩形マスク投影位置計算部４０３に対して処理終了信号を出力する。
【００８２】
（ステップ５１４の詳細説明）
図１０は、図５のステップ５１４の処理を詳細に示すフローチャートである。図１０において、まず、矩形マスク投影位置計算部４０３は、上述したスキャンパラメータ（矩形マスクサイズ、スキャン順序、スキャン刻み、横方向及び縦方向最大値、横方向及び縦方向最小値）に基づいて、矩形マスク９０１の位置を計算する（ステップ５１４ａ）。なお、この矩形マスク投影位置計算部４０３の出力には、例えば、矩形マスク９０１の頂点座標（４つの頂点のスクリーン座標値）を用いればよい。また、この矩形マスク位置計算により最終部分画像の撮像が終っていると判断される（ステップ５１４ｂ）と、入力処理は完了する。
【００８３】
次に、想定投影画像生成部４０４において、単色背景、例えば、黒色上に背景色と異なる色、例えば、白色の矩形マスク９０１（上述した矩形マスク頂点座標を４つの頂点とする）を配置したスクリーン座標系表現の想定投影画像を生成する（ステップ１００１）。この画像は、入力対象面１１１上における投影像と同一の画像となる。
【００８４】
次に、被投影画像生成部４０５は、想定投影画像をマスク投影パラメータ蓄積部１０８に蓄積されたスクリーン・被投影画像座標変換パラメータによって変換することで、被投影面座標系表現の被投影画像を生成する（ステップ１００２）。また、被投影面画像生成部４０５は、処理を終了すると投影部１０３に対し被投影画像を出力し、投影部１０３によって完全に投影が行われるのに十分な時間の遅延処理を行った後、撮像指示信号を画像取り込み部４０６に出力する。
【００８５】
次に、投影部１０３は、被投影画像の投影を行う（ステップ１００３）。ここで、入力対象面１１１における投影像は、想定投影画像と同一になる。
【００８６】
次に、画像取り込み部４０６は、撮像部１０１によって撮像された矩形マスクを含む入力対象平面１１１の撮像画像の画像取り込みを行う（ステップ１００４）。
【００８７】
次に、矩形マスク抽出部４０７は、その撮像画像に対して輝度などを用いた領域分割の処理を行い、矩形マスク領域を撮像画像から抽出して矩形マスク抽出画像を生成する（ステップ１００５）。そして、ステップ５１５の処理に移行する。
【００８８】
（ステップ５１５の詳細説明）
図１１は、図５のステップ５１５の処理を詳細に示すフローチャートである。
【００８９】
図１１において、まず、射影変換パラメータ推定部４１３は、矩形マスク抽出部４０７で生成された矩形マスク抽出画像から矩形マスクの４つの頂点の撮像面座標（ｘ3，ｙ3）を抽出する（ステップ１１０２）。
【００９０】
次に、射影変換パラメータ推定部４１３は、矩形マスクの４つの頂点の撮像面座標（ｘ3，ｙ3）と統合画像座標（ｘmi，ｙmi）とから撮像面・統合画像座標変換パラメータを求める（ステップ１１０３）。ここで、統合画像座標系は、スクリーン座標系２０１（図２）のｘｙ平面で規定される平面座標系と全く同一と考えることができる。このため、矩形マスク投影のために矩形マスク投影位置計算部４０３で出力した矩形マスクの４つの頂点のスクリーン座標値をそのまま統合画像の４つの頂点の統合画像座標として用いることができる。そして、射影変換パラメータは、（数４）または（数５）に示したのと同様に、以下に示す（数９）
または（数１０）から得ることができる。なお、（数９）において、（ｘmi，
ｙmi，０）は、スクリーン座標系２０１と同一の統合画像座標系の座標値であり、（ｘ3，ｙ3）は、その点が撮像された時の撮像面座標値である。
（数９）
|ｋ＊ｘmi| |ｐ1 ｐ2 ｐ3 | |ｘ3|
|ｋ＊ｙmi|＝|ｐ5 ｐ6 ｐ7 |＊|ｙ3|
| ｋ | |ｐ8 ｐ9 １ | | 1 |
ここで、記号 | |は行列を示す。
（数１０）

ここで、記号 | |は行列を示し、Trans［］は転置行列を示す。
【００９１】
ここで、矩形マスク９０１の４つの頂点の撮像面座標（ｘ3，ｙ3）及び統合画像座標（ｘmi，ｙmi）は、既に得られているので、射影変換パラメータ推定部４１３は、その対応を用いて上述の（数９）の連立方程式を解くことにより、撮像面・統合画像座標変換パラメータＰを推定することができる。
【００９２】
次に、画像統合部４１４は、矩形マスク抽出画像中の矩形マスク領域を撮像面・統合画像座標変換パラメータＰによって変換して得られる統合画像座標値に基づいて、統合画像蓄積部４１５に蓄積された統合画像に撮像画像の貼り合わせ合成を行う（ステップ１１０４）。このとき、統合画像座標系に対応させたｘｙ座標を持つ統合画像メモリを統合画像蓄積部４１５内に配置して、その統合画像メモリに画像統合部４１４がアクセスすることにより貼り合わせ統合を行う。
【００９３】
そして、画像統合部４１４は、貼り合わせ統合処理終了後に、矩形マスク投影位置計算部４０３に対し処理終了信号を出力する。以上のようにして、画像統合処理（ステップ５１５）を終了する。
【００９４】
以上のように、本発明の画像処理方法が適用される画像処理装置によれば、入力対象部分画像の照明及び位置指定を行う投影部１０３と、投影された入力対象部分画像を撮像する撮像部１０１とを備えることによって、撮像部光軸と入力対象面の垂直な状態を物理的に保持しなくても部分画像の撮像・入力を可能にすることができ、これによって、装置全体の小型化が実現ができる。
【００９５】
また、撮像部１０１の撮像画像から画像処理によりキャリブレーション情報を抽出するため、統合画像生成のための変換パラメータ推定精度が向上し、品質の高い統合画像を生成できる。
【００９６】
また、投影部１０３と駆動部１０２を有する撮像部１０１とを備えているため、撮像部１０１の光軸と入力対象面とを垂直な状態に保持することなく部分画像の撮像・入力が可能となり、これにより、装置の小型化・簡易化を実現可能なものとしている。
【００９７】
＜実施の形態２＞
次に、本発明の第２の実施の形態について、図面を参照しながら説明する。
【００９８】
図１２は、本発明の画像処理装置の構成の一例を示す図である。なお、図１２においては、図１と同一の構成には同一の符号を付している。
【００９９】
図１２において、本発明の画像処理装置は、該入力対象面１１１の部分画像の撮像を行う撮像部１０１と、入力対象面１１１の部分画像の撮像の際に撮像部１０１を駆動する駆動部１０２と、入力対象面１１１の部分画像の撮像の際に撮像される部分の照明及び位置指定を兼ねた投影を行う投影部１０３と、キャリブレーション処理を行うキャリブレーション処理部１０７と、撮像された入力対象面１１１の部分画像を統合処理する画像入力統合処理部１２０９と、当該装置の利用者や他の制御装置（図示せず）などの外部からキャリブレーション処理または画像入力統合処理のいずれかの処理を選択する指示信号を受け付けるモード入力部１０４と、利用者や他の制御装置などからの駆動部１０２への指示入力を受け付ける駆動情報入力部１２０５と、利用者などが駆動部１０２への指示入力を行う際に撮像部１０１の撮像範囲を確認するのに用いるモニタ部１１２と、駆動情報入力部１２０５及び画像入力統合処理部１２０９の出力を受け、駆動部１０２の制御などを行う駆動処理部１２０６と、キャリブレーション処理部１０７から出力される座標変換パラメータと入力領域スクリーン座標を格納する矩形マスク投影パラメータ蓄積部１０８と、を備えている。また、入力対象となる入力対象面１１１（例えば、絵画などの平面画像）は、投影面１１０に取り付けられている。
【０１００】
図１３は、キャリブレーション処理部１０７の構成の一例を示す図である。図１３においては、図１２及び図３と同一の構成には同一の符号を付している。
【０１０１】
図１３において、このキャリブレーション処理部１０７は、モード入力部１０４からキャリブレーション処理モードが出力された際に、駆動情報入力部１２０５及び駆動処理部１２０６によって駆動される駆動部１０２の駆動動作完了後に撮像部１０１で撮像された撮像画像の画像取り込みを行う画像取り込み部３０１と、画像取り込み部３０１で取り込んだ画像を格納する画像メモリ３０２と、画像メモリ３０２に格納された撮像画像に基づいて入力対象面１１１の頂点位置の撮像面座標を抽出する入力対象面頂点抽出部３０３と、入力対象面１１１の頂点座標（撮像面座標）と入力対象面１１１の頂点位置のスクリーン座標に基づいて撮像面・スクリーン座標変換パラメータを推定する撮像面・スクリーン座標変換パラメータ推定部３０４と、入力対象面１１１の頂点座標（撮像面座標）と撮像面・スクリーン座標変換パラメータを格納するメモリ３０８と、画像メモリ３０２に格納された撮像画像から投影部１０３で投影された投影光の頂点の撮像面座標値を抽出し、メモリ３０８に格納された撮像面・スクリーン座標変換パラメータに基づいてそれらの撮像面座標をスクリーン座標に変換して出力する投影光頂点抽出部３０５と、投影光頂点座標（スクリーン座標系２０１）と既知の被投影面の有効投影範囲頂点の被投影面座標値からスクリーン・被投影面座標変換パラメータを推定し、出力するスクリーン・被投影面座標変換パラメータ部３０６と、メモリ３０８に格納された入力対象面１１１の頂点座標（撮像面座標）と同様にメモリ３０８に格納された撮像面・スクリーン座標変換パラメータを用いて入力領域スクリーン座標を計算する入力範囲計算部３０７と、を備えている。
【０１０２】
図１４は、画像入力統合処理部１２０９及び駆動処理部１２０６の構成の一例を示す図である。図１４において、図１２及び図４と同一の構成については同一の符号を付している。
【０１０３】
図１４において、画像入力統合処理部１２０９は、撮像部１０１で撮像された画像の取り込みを行う画像取り込み部１４０６と、モード入力部１０４から画像入力統合処理モードが出力された際に、入力対象面１１１の入力部分の位置指定のために投影される矩形マスク９０１の移動方策（スキャン方策）に関連するスキャンパラメータを設定する矩形マスクスキャン方策計算部４０１と、スキャン方策に従った矩形マスク９０１の配置位置を計算する矩形マスク投影位置計算部１４０３と、単色背景面上に背景色と異なる色の矩形マスク９０１を配置した想定投影画像（スクリーン座標系２０１（図２））を生成する想定投影画像生成部４０４と、想定投影画像を矩形マスク投影パラメータ蓄積部１０８に蓄積された被投影面・スクリーン座標変換パラメータによって変換し、被投影画像（被投影面座標系２０３（図２））を生成し、処理終了時に画像取り込み部１４０６に処理終了を通知する被投影画像生成部４０５と、取り込み画像中から矩形マスク領域を抽出した矩形マスク抽出画像を生成する矩形マスク抽出部１４０７と、矩形マスク抽出画像からその矩形マスク頂点を抽出し、部分画像を統合画像の貼り合わせ位置に歪みなく貼り合わせるための射影変換パラメータを求める射影変換パラメータ推定部１４１３と、射影変換パラメータ推定部１４１３で求められた射影変換パラメータに基づいて撮像された部分画像の統合画像への貼り合わせを行い、矩形マスク投影位置計算部１４０３に終了を通知する画像統合部４１４と、画像統合部４１４で貼り合わされた統合画像を蓄積する統合画像蓄積部４１５と、を備えている。ここで、想定投影画像生成部４０４で生成された想定投影画像は、入力対象面１１１上に投影される投影像と同一の画像となる。
【０１０４】
また、駆動処理部１２０６は、矩形マスク投影と部分画像撮像の同期制御のための制御情報を蓄積する制御情報蓄積部１４０２と、矩形マスク抽出部１４０７で抽出された矩形マスク抽出画像から撮像画像内における矩形マスクの位置を判定し、撮像部１０１の撮像領域移動（パン・チルト調整）が必要かどうかを決定する撮像マスク位置判定部１４０８と、撮像マスク位置判定部１４０８からパン・チルト調整実行の指示を受けた際に、その矩形マスク位置に基づいてパン・チルト量を推定し、駆動制御部１４１６に出力するパン・チルト量推定部１４０９と、矩形マスク抽出画像から撮像画像内における矩形マスクのサイズを判定し、撮像部１０１の撮像領域拡大・縮小（ズーム調整）が必要かどうかを決定する撮像マスクサイズ判定部１４１０と、撮像マスクサイズ判定部１４１０からズーム調整実行の指示を受けた際に、その矩形マスクサイズに基づいてズーム量を推定し、駆動制御部１４１６に出力するズーム量推定部１４１１と、撮像した画像に存在する矩形マスクが撮像領域移動用（スキャン用）に配置されたものか統合画像入力用に配置されたものかを制御情報蓄積部１４０２にアクセスし、その次の処理を矩形マスク投影位置計算部１４０３に進めるか、射影変換パラメータ推定部１４１３に進めるかを決定する撮像モード判定部１４１２と、を備えている。
【０１０５】
以下、上述した画像処理装置の動作について図５のフローチャートを用いて説明する。
【０１０６】
まず、モード入力部１０４において利用者などの入力によってキャリブレーション処理モードが設定されると（ステップ５０２）、投影部１０３が投光される（ステップ５０３）。この投影部１０３が投光された状態で、撮像部１０１は、投光領域を全て含むように撮像を行う（ステップ５０４）。この撮像は、例えば、利用者がモニタ部１１２を確認しながら駆動情報入力部１２０５にパン、チルト、ズームの制御情報を入力して行とよい。
【０１０７】
次に、モード入力部１０４から指示を受けた画像取り込み部３０１は、撮像部１０１で撮像した画像をディジタル画像として取り込み、画像メモリ３０２に格納する。
【０１０８】
入力対象面頂点抽出部３０３は、入力対象面１１１の頂点を画像処理により抽出して、その撮像面座標（ｘc，ｙc）をメモリ３０８に格納し、同時に撮像面・スクリーン座標変換パラメータ推定部３０４に出力する（ステップ５０５）。入力対象面１１１の４つの頂点すべてについて抽出を完了したかチェックし（ステップ５０６）、完了していなければステップ５０５の処理を繰り返す。入力対象面１１１の４つの頂点の撮像面座標（ｘc，ｙc）は、例えば、入力対象面１１１の輪郭四角形の各辺の直線方程式をHough変換などで求め、その４直線の交点を求めることによって得ることができる。
【０１０９】
次に撮像面・スクリーン座標変換パラメータ推定部３０４において、撮像面座標とスクリーン座標間の変換パラメータを入力対象面１１１の４つの頂点から推定し（ステップ５０７）、この変換パラメータをメモリ３０８に格納する。一般に、スクリーン上の点（Ｘw1，Ｙw1，０）と、その点が撮像された時の撮像面座標（ｘc1，ｙc1）は、上述した（数４）または（数５）のように表される。
【０１１０】
ここで、入力対象面１１１の４つの頂点の撮像面座標（ｘc1，ｙc1）及びスクリーン座標系での４つの頂点の座標（Ｘw1，Ｙw1，０）は既知、即ち、入力対象面１１１の縦横の長さを計測しておけば良いため、その対応を用いて（数４）の連立方程式を解くことにより、撮像面・スクリーン座標変換パラメータＬを推定することができる。
【０１１１】
次に、投影光頂点抽出部３０５は、ディジタル画像より投影光６０１の輪郭四角形の４つの頂点を画像処理によって抽出し、その撮像面座標（ｘc2，ｙc2）を求める。そして、それら撮像面座標（ｘc2，ｙc2）を撮像面・スクリーン座標変換パラメータによりスクリーン座標（Ｘw2，Ｙw2，０）に変換しする（ステップ５０８）。変換されたスクリーン座標（Ｘw2，Ｙw2，０）は、メモリ３０８に格納され、同時にスクリーン・被投影面座標変換パラメータ推定部３０６に出力される。そして、投影光６０１の輪郭四角形の４つの頂点全ての処理が終了するまで（ステップ５０９）、ステップ５０８の処理を繰り返す。投影光６０１の輪郭四角形の４つの頂点の撮像面座標（ｘc2，ｙc2）は、例えば、投影光６０１の輪郭四角形の各辺の直線の方程式をHough変換などで求め、その４直線の交点を求めることで得ることができる。
【０１１２】
次に、スクリーン・被投影面座標変換パラメータ推定部３０６においてスクリーン座標系２０１と被投影面座標系２０３との間の変換パラメータを投影光６０１（図６）の輪郭四角形の４つの頂点を用いて推定し（ステップ５１０）、矩形マスク投影パラメータ蓄積部１０８に格納する。一般に、スクリーン上の点（Ｘw2，Ｙw2，０）とその点の液晶パネル上の被投影面座標（ｘp2，ｙp2）は、上述した（数６）または（数７）のように表される。
【０１１３】
投影光６０１（図６）の輪郭四角形の４つの頂点の被投影面座標（ｘp2，ｙp2）は、液晶パネル上の有効被投影矩形領域の４つの頂点に対応するため、容易に求めることができる。よって、投影光６０１（図６）の輪郭四角形の４頂点の被投影面座標とスクリーン座標の双方が既知となるため、その対応を用いて上述の（数６）の連立方程式を解くことにより、スクリーン・被投影面座標変換パラメータＭを推定することができる。
【０１１４】
次に、入力範囲計算部３０７は、ステップ５０７の処理で得られ、メモリ３０８に格納された入力対象面１１１の４つの頂点の座標（ｘc1，ｙc1）を、メモリ３０８に格納された撮像面・スクリーン座標変換パラメータを用いて、スクリーン座標（Ｘw3，Ｙw3，０）に変換し、入力領域スクリーン座標として矩形マスク投影パラメータ蓄積部１０８に格納する（ステップ５１１）。
【０１１５】
次に、画像入力統合処理について説明する。
【０１１６】
まず、モード入力部１０４において利用者などの入力により画像入力統合モードが設定されると（ステップ５１２）、画像入力統合処理部１２０９は、入力対象面１１１上でどのように部分画像を撮像するかに関して矩形マスク９０１のスキャン方策を設定するためのスキャンパラメータを計算する（ステップ５１３）。
【０１１７】
次に、画像入力統合処理部１２０９は、スキャン方策で示された位置の部分画像を撮像するために撮像部１０１の撮像位置合わせを行う（ステップ５１４）。
【０１１８】
この撮像位置合わせ処理（ステップ５１４）においては、まず、投影する矩形マスク位置を設定する（ステップ５１４ａ）。次に、全ての部分画像について撮像及び統合処理が完了したか判定する（ステップ５１４ｂ）。もし、全ての部分画像の撮像及び統合処理を完了していれば、画像入力統合処理を終了する。全ての部分画像の撮像及び統合処理を完了していなければ（ステップ５１４ｂ）、設定された矩形マスク９０１を撮像部１０１が撮像できるように矩形マスク９０１の投影・撮像処理を行う（ステップ５１４ｃ）。
【０１１９】
次に、画像入力統合処理部１２０９において、撮像された部分画像を統合画像に貼り合わせ統合し（ステップ５１５）、ステップ５１４〜ステップ５１５の処理を繰り返す。
【０１２０】
以上によって、画像入力統合は行われるが、ステップ５１３に関しては、上述の図７〜図９を用いて説明した通りである。以下、ステップ５１４及びステップ５１５に関して詳細にその動作について説明する。
【０１２１】
（ステップ５１４の詳細説明）
図１５は、図５のステップ５１４の処理を詳細に示すフローチャートである。図１５においては、図１０と同一のステップには同一のステップ番号を付している。図１５において、まず、矩形マスクスキャン方策計算部４０１から処理終了信号を受けた矩形マスク投影位置計算部１４０３は、撮像位置合わせ処理を開始する（ステップ１５０１）。
【０１２２】
次に、矩形マスク投影位置計算部１４０３は、上述したスキャンパラメータ（矩形マスクサイズ、スキャン順序、スキャン刻み、横方向及び縦方向最大値、横方向及び縦方向最小値）に基づいて矩形マスク９０１（図９）の位置を計算する（ステップ５１４ａ）。なお、この矩形マスク投影位置計算部１４０３の出力には、例えば、矩形マスク頂点座標（４つの頂点のスクリーン座標値）を用いればよい。また、この矩形マスク位置計算により最終部分画像の撮像が終っていると判断される（ステップ５１４ｂ）と、入力処理は完了する。
【０１２３】
また、入力処理の終了時に、矩形マスク投影位置計算部１４０３は、制御情報蓄積部１４０２に撮像モードの書き込みを行う（ステップ１５０２）。なお、ここで使われる撮像モードには、統合撮像モード（入力統合を行うための撮像）及びスキャンモード（撮像部１０１の撮像領域をスキャンさせるための撮像）がある。ここで、各モードは、図９（Ｂ）を用いて（ステップ５１３の詳細）で説明した矩形マスク位置によって設定されるが、具体的には以下のように設定される。
（ａ）スキャンモード：矩形マスク投影位置が、統合画像として貼り合わせ合成される部分以外であり、撮像部スキャン用に設定された場合
（ｂ）統合撮像モード：矩形マスク投影位置が、統合画像として貼り合わせ合成される部分に設定された場合
【０１２４】
次に、想定投影画像生成部４０４において、単色背景、例えば、黒色上に背景色と異なる色、例えば、白色の矩形マスク９０１（上述した矩形マスク頂点座標を４つの頂点とする）を配置したスクリーン座標系表現の想定投影画像を生成する（ステップ１００１）。この画像は、入力対象面１１１上における投影像と同一の画像となる。
【０１２５】
次に、被投影画像生成部４０５は、想定投影画像を矩形マスク投影パラメータ蓄積部１０８に蓄積されたスクリーン・被投影画像座標変換パラメータによって変換することで、被投影面座標系表現の被投影画像を生成する（ステップ１００２）。また、被投影面画像生成部４０５は、処理を終了すると投影部１０３に対し被投影画像を出力し、投影部１０３によって完全に投影が行われるのに十分な時間の遅延処理を行った後、撮像指示信号を画像取り込み部１４０６に出力する。
【０１２６】
次に、投影部１０３は、被投影画像の投影を行う（ステップ１００３）。ここで、入力対象面１１１における投影像は、想定投影画像と同一になる。
【０１２７】
次に、画像取り込み部１４０６は、撮像部１０１によって撮像された矩形マスク９０１を含む入力対象平面１１１の撮像画像の画像取り込みを行う（ステップ１００４）。
【０１２８】
次に、矩形マスク抽出部１４０７は、その撮像画像に対して輝度などを用いた領域分割の処理を行い、矩形マスク領域を撮像画像から抽出して矩形マスク抽出画像を生成する（ステップ１００５）。
【０１２９】
次に、撮像マスク位置判定部１４０８は、矩形マスク抽出画像から矩形マスク領域の画像中での重心位置を求めて、その重心位置と画像中心間の画像距離が既定距離内（ｘ［ｐｉｘ］内）にあるかどうか判定する（ステップ１５０３）。該ステップ１５０３で、既定距離内にないと判定された場合には、パン・チルト量推定部１４０９で画像距離に基づいて、パン及びチルトの撮像部制御量を推定し、駆動制御部１４１６に出力する。駆動制御部１４１６は、駆動部１０２を介して撮像部１０１のパン・チルト制御を行う（ステップ１５０４）。駆動部１０２は、駆動終了後に画像取り込み部１４０６に駆動終了信号を出力て、ステップ１００４〜ステップ１５０４の処理を繰り返す。
【０１３０】
また、ステップ１５０３で既定距離内にあると判定された場合、撮像マスクサイズ判定部１４１０は、矩形マスク抽出画像から矩形マスク領域内の画素数をカウントして、その画素数が解像度で規定された画素数ｔ＿ｐ＿ｎｕｍ［ｐｉｘ］（ｉx0＊ｉy0＝ｔ＿ｐ＿ｎｕｍ［ｐｉｘ］）以上で、かつ矩形マスク全体が画角内に入っているかどうかを調べる（ステップ１５０５）。該ステップ１５０５で、ｔ＿ｐ＿ｎｕｍ［ｐｉｘ］以下または矩形マスク全体が画角内に入っていない場合には、ズーム量推定部１４１１は、矩形マスク領域内画素数に基づいてズーム量を推定して、推定したズーム量を駆動制御部１４１６に出力する。駆動制御部１４１６は、駆動部１０２を介して撮像部１０１のズーム制御を行う（ステップ１５０６）。駆動部１０２は、駆動終了後に画像取り込み部１４０６に駆動終了信号を出力して、ステップ１００４〜ステップ１５０６の処理を繰り返す。
【０１３１】
また、該ステップ１５０５で、矩形マスク領域内画素数がｔ＿ｐ＿ｎｕｍ［ｐｉｘ］以上で、かつ矩形マスク全体が画角内に入っている場合には、撮像マスクサイズ判定部１４１０は撮像モード判定部１４１２に対し撮像モード判定指示信号を出力する。
【０１３２】
ここで、撮像モード判定部１４１２は、制御情報蓄積部１４０２に格納されている撮像モードの問い合わせを行い、撮像モードを判定する（ステップ１５０７）。撮像モードが統合撮像モードである場合には（ステップ１５０７）、撮像モード判定部１４１２は、射影変換パラメータ推定部１４１３に対して、撮像画像の統合処理を指示する統合処理実行信号を出力して撮像位置合わせ処理を終了する（ステップ１５０８）。
【０１３３】
また、制御情報がスキャンモードである場合には（ステップ１５０７）、撮像モード判定部１４１２は、矩形マスク投影位置計算部１４０３に対し、投影指示信号を出力する。そして、ステップ５１４ａ〜ステップ１５０７の処理を繰り返し行う。
【０１３４】
（ステップ５１５の詳細説明）
図１６は、図５のステップ５１５の処理を詳細に示すフローチャートである。図１６においては、図１１と同一の処理ステップには同一のステップ番号を付している。図１６において、まず、射影変換パラメータ推定部１４１３が撮像モード判定部１４１２から上述した統合処理実行信号を受け取ることによって、画像統合処理（ステップ５１５）が開始される（ステップ１６０１）。
【０１３５】
ここで、射影変換パラメータ推定部１４１３は、矩形マスク抽出部１４０７で生成された矩形マスク抽出画像から矩形マスクの４つの頂点の撮像面座標（ｘ3，ｙ3）を抽出する（ステップ１１０２）。
【０１３６】
次に、射影変換パラメータ推定部１４１３は、矩形マスクの４つの頂点の撮像面座標（ｘ3，ｙ3）と統合画像座標（ｘmi，ｙmi）とから撮像面・統合画像座標変換パラメータを求める（ステップ１１０３）。ここで、統合画像座標系は、スクリーン座標系２０１（図２）のｘｙ平面で規定される平面座標系と全く同一と考えることができる。このため、矩形マスク投影のために矩形マスク投影位置計算部１４０３で出力した矩形マスクの４つの頂点のスクリーン座標値をそのまま統合画像の４つの頂点の統合画像座標として用いることができる。そして、射影変換パラメータは、上述の（数９）または（数１０）から得ることができる。
【０１３７】
ここで、矩形マスクの４つの頂点の撮像面座標（ｘ3，ｙ3）及び統合画像座標（ｘmi，ｙmi）は、既に得られているので、射影変換パラメータ推定部１４１３は、その対応を用いて上述の（数９）の連立方程式を解くことにより、撮像面・統合画像座標変換パラメータＰを推定することができる。
【０１３８】
次に、画像統合部４１４は、矩形マスク抽出画像中の矩形マスク領域を撮像面・統合画像座標変換パラメータＰによって変換して得られる統合画像座標値に基づいて、統合画像蓄積部４１５に蓄積された統合画像に撮像画像の貼り合わせ合成を行う（ステップ１１０４）。このとき、統合画像座標系に対応させたｘｙ座標を持つ統合画像メモリを統合画像蓄積部４１５内に配置して、その統合画像メモリに画像統合部４１４がアクセスすることにより貼り合わせ統合を行う。
【０１３９】
そして、画像統合部４１４は、貼り合わせ統合処理終了後に、矩形マスク投影位置計算部１４０３に対し処理終了信号を出力する。以上のようにして、画像統合処理（ステップ５１５）を終了する（ステップ１６０２）。
【０１４０】
以上のように、本発明の画像処理方法が適用される画像処理装置によれば、入力対象部分画像の照明及び位置指定を行う投影部１０３と、投影された入力対象部分画像を撮像する撮像部１０１とを備えることによって、撮像部光軸と入力対象面の垂直な状態を物理的に保持しなくても部分画像の撮像・入力を可能にすることができ、これによって、装置全体の小型化が実現ができる。
【０１４１】
また、撮像部１０１の撮像画像から画像処理によりキャリブレーション情報を抽出するため、統合画像生成のための変換パラメータ推定精度が向上し、品質の高い統合画像を生成できる。
【０１４２】
また、投影部１０３と駆動部１０２を有する撮像部１０１とを備えているため、撮像部１０１の光軸と入力対象面とを垂直な状態に保持することなく部分画像の撮像・入力が可能となり、これにより、装置の小型化・簡易化を実現可能なものとしている。
【０１４３】
さらに、駆動処理部１２０６を設けることによって、駆動部１０２を自動的に制御することができる。これにより、撮像部１０１のパン、チルド、ズームの制御が容易に行えるようになる。
【０１４４】
＜実施の形態３＞
次に、本発明の第３の実施の形態について、図面を参照しながら説明する。
【０１４５】
図１７は、本発明の画像処理装置におけるキャリブレーション処理部の実施の形態の一例を示す図である。図１７において、図３と同一の構成には同一の符号を付している。また、投影面１１０には、点(ドット)や格子パターン格子点で表現される４点以上のスクリーン基準点１７０４が既知の間隔で配置されたスクリーン基準パターン１７０３が配置されている。ここで、画像処理装置全体の構成及び画像入力統合処理部１０９または１２０９の構成も第１または第２の実施の形態の構成と同様である。
【０１４６】
図１７において、このキャリブレーション処理部１７０７は、モード入力部１０４からキャリブレーション処理モードが出力された際に撮像部１０１で撮像された撮像画像の画像取り込みを行う画像取り込み部３０１と、画像取り込み部３０１で取り込んだ画像を格納する画像メモリ３０２と、画像メモリ３０２に格納された撮像画像に基づいて入力対象面１１１の頂点位置の撮像面座標を抽出する入力対象面頂点抽出部３０３と、撮像部１０１で撮像された撮像画像から投影面１１０上に配置されたスクリーン基準パターン１７０３中のスクリーン基準点１７０４の撮像面座標を抽出するスクリーン基準点抽出部１７０１と、スクリーン基準点１７０４の撮像面座標とスクリーン座標を用いて最小２乗法により撮像面・スクリーン座標変換パラメータを推定する撮像面・スクリーン座標変換パラメータ最小２乗推定部１７０２と、入力対象面１１１の頂点座標（撮像面座標）と撮像面・スクリーン座標変換パラメータを格納するメモリ３０８と、画像メモリ３０２に格納された撮像画像から投影部１０３で投影された投影光の頂点の撮像面座標値を抽出し、メモリ３０８に格納された撮像面・スクリーン座標変換パラメータに基づいてそれらの撮像面座標をスクリーン座標に変換して出力する投影光頂点抽出部３０５と、投影光頂点座標（スクリーン座標系２０１）と既知の被投影面の有効投影範囲頂点の被投影面座標値からスクリーン・被投影面座標変換パラメータを推定し、出力するスクリーン・被投影面座標変換パラメータ部３０６と、メモリ３０８に格納された入力対象面１１１の頂点座標（撮像面座標）と同様にメモリ３０８に格納された撮像面・スクリーン座標変換パラメータを用いて入力領域スクリーン座標を計算する入力範囲計算部３０７と、を備えている。
【０１４７】
ここで、本実施の形態に示したキャリブレーション処理部１７０７では、撮像面・スクリーン座標変換パラメータを求める際にスクリーン基準パターン１７０３を用いてパラメータ推定のための座標既知点の数を増やすことによって、最小２乗法によるパラメータ推定精度の向上を図ることができる。
【０１４８】
図１８は、本実施の形態の画像処理装置の動作を示すフローチャートである。以下、本実施の形態の画像処理装置の動作について説明する。図１８において、図５と同一の処理を行うステップについては同一のステップ番号を付している。
【０１４９】
図１８において、まず、スクリーン基準パターン１７０３を投影面１１０上に配置し、モード入力部１０４において利用者などの外部からの入力によりキャリブレーション処理モードが設定される（ステップ５０２）。これにより、投影部１０３から投影光が投影面１１０に投影される（ステップ５０３）。
【０１５０】
次に、撮像部１０１が投光領域を全て含むように撮像を行う（ステップ５０４）。この撮像は、例えば、利用者がモニタ部１１２を確認しながらパン、チルト、ズームの制御情報を駆動部１０２に入力して行うようにするとよい。
【０１５１】
次に、モード入力部１０４から指示を受けた画像取り込み部３０１は、撮像部１０１で撮像した画像を取り込み、画像メモリ３０２に格納する。
【０１５２】
次に、スクリーン基準点抽出部１７０１は、スクリーン基準パターン１７０３上のスクリーン基準点１７０４を画像処理によって抽出し、その撮像面座標（ｘc1，ｙc1）を出力する（ステップ１８０１）。４つ以上のスクリーン基準点１７０４について抽出を完了したかチェックし（ステップ１８０２）、完了していなければステップ１８０１の処理を繰り返す。
【０１５３】
次に、撮像面・スクリーン座標変換パラメータ最小２乗推定部１７０２は、撮像面座標とスクリーン座標間の変換パラメータを前記スクリーン基準パターン１７０３上の４つ以上のスクリーン基準点１７０４から推定し（ステップ１８０３）、この変換パラメータをメモリ３０８に格納する。一般に、スクリーン上の点（Ｘw1，Ｙw1，０）とその点が撮像されたときの撮像面座標（ｘc1，ｙc1）は、上述した（数４）または（数５）のように表される。ここで、スクリーン基準点１７０４の撮像面座標（ｘc1，ｙc1）及びスクリーン座標系２０１（図２）でのスクリーン基準点１７０２の座標（Ｘw1，Ｙw1，０）は既知（例えば、スクリーン基準点１７０４の相対位置を計測して、その１つのスクリーン基準点１７０４をスクリーン座標系２０１の原点と定義しておけばよい)であるため、その対応を用いて（数４）を満たす撮像面・スクリーン座標変換パラメータを最小２乗法により推定する（ステップ１８０３）。
【０１５４】
次に、スクリーン基準パターン１７０３を投影面１１０から取り外し、入力対象面１１１をスクリーン（投影面１１０）上に配置する。そして、入力対象面頂点抽出部３０３は、入力対象面１１１の頂点を画像処理により抽出し、その撮像面座標（ｘc，ｙc）をメモリ３０８に格納する（ステップ５０５）。４つ以上の全ての頂点について抽出を完了したかチェックし（ステップ５０６）、完了していなければステップ５０５の処理を繰り返す。
【０１５５】
以下、上述の図５に示したステップ５０８以降の処理を行う。
【０１５６】
なお、本実施の形態においては、スクリーン基準点１７０４を特定パターン（本実施の形態ではドットパターン（図１７参照））で表現しているが、この基準点を、例えば、格子パターンの交点とすることもできる。
【０１５７】
以上のように、本発明の実施の形態によれば、スクリーン基準パターン１７０３、スクリーン基準点抽出部１７０１、及び撮像面・スクリーン座標変換パラメータ最小２乗推定部１７０２を備えることによって、撮像面・スクリーン座標変換パラメータの推定精度を向上させ、統合画像の貼り合わせ画像の歪みを大幅に低減できる。
【０１５８】
また、投影部１０３と駆動部１０２を有する撮像部１０１を備えているため、撮像部１０１の光軸と入力対象面とを垂直な状態に保持しなくとも部分画像の撮像・入力ができる。このため、画像処理装置の小型化や簡易化が容易になり、さらに、大幅な統合画像の生成精度の向上（部分画像の貼り合わせ精度の向上）が図られる。
【０１５９】
＜実施の形態４＞
次に、本発明の第４の実施の形態について、図面を参照しながら説明する。
【０１６０】
図１９は、キャリブレーション処理部１９０７の構成の一例を示す図である。図１９においては、図３と同一の構成には同一の符号を付している。また、画像処理装置全体の構成及び画像入力統合処理部１０９または１２０９の構成も第１または第２の実施の形態の構成と同様である。
【０１６１】
図１９において、このキャリブレーション処理部１９０７は、モード入力部１０４からキャリブレーション処理モードが出力された際に撮像部１０１で撮像された撮像画像の画像取り込みを行う画像取り込み部３０１と、画像取り込み部３０１で取り込んだ画像を格納する画像メモリ３０２と、画像メモリ３０２に格納された撮像画像に基づいて入力対象面１１１の頂点位置の撮像面座標を抽出する入力対象面頂点抽出部３０３と、入力対象面１１１の頂点座標（撮像面座標）と入力対象面１１１の頂点位置のスクリーン座標に基づいて撮像面・スクリーン座標変換パラメータを推定する撮像面・スクリーン座標変換パラメータ推定部３０４と、入力対象面１１１の頂点座標（撮像面座標）と撮像面・スクリーン座標変換パラメータを格納するメモリ３０８と、キャリブレーション用に投影される投影基準画像の生成を行う投影基準画像生成部１９０１と、投影基準画像の投影像を含むように撮像部１０１で撮像された撮像画像から投影基準点を抽出する投影基準点抽出部１９０２と、投影基準点のスクリーン座標と被投影面座標を用いて最小２乗法によりスクリーン・被投影面座標変換パラメータを推定するスクリーン・被投影面座標変換パラメータ最小２乗推定部１９０３と、メモリ３０８に格納された入力対象面１１１の頂点座標（撮像面座標）と同様にメモリ３０８に格納された撮像面・スクリーン座標変換パラメータを用いて入力領域スクリーン座標を計算する入力範囲計算部３０７と、を備えている。
【０１６２】
本実施の形態では、スクリーン・被投影面座標変換パラメータを求める際に投影基準画像を用いてパラメータ推定のための座標既知点の数を増やすことによって、最小２乗法によるパラメータ推定精度の向上が可能である。
【０１６３】
図２０は、本実施の形態の画像処理装置の動作を示すフローチャートである。以下、本実施の形態の画像処理装置の動作について説明する。図２０において、図５と同一の処理を行うステップについては同一のステップ番号を付している。
【０１６４】
図２０において、まず、モード入力部１０４において利用者などの外部からの入力によって、キャリブレーション処理モードが設定される（ステップ５０２）。これにより、投影基準画像生成部１９０１がら予め蓄積された投影基準画像が出力され、投影部１０３がその投影基準画像を投影する（ステップ２００１）。
【０１６５】
次に、撮像部１０１が、投光領域を全て含むように撮像を行う（ステップ５０４）。この撮像は、例えば、利用者がモニタ部１１２を確認しながら駆動部１０２にパン、チルト、ズームの制御情報を入力して行うとよい。
【０１６６】
次に、モード入力部１０４から指示を受けた画像取り込み部３０１は、撮像部１０１で撮像した画像を取り込み、画像メモリ３０２に格納する。
【０１６７】
図２１は、撮像する画像の例を示す図である。図２１において、投影面１１０には、投影基準点２１０１が投影されている。また、投影光６０１は、入力対象面１１１より広い面を投光している。以降、この図２１も用いて画像処理装置の動作について説明する。
【０１６８】
入力対象面頂点抽出部３０３は、入力対象面１１１の頂点を画像処理により抽出し、その撮像面座標（ｘc，ｙc）をメモリ３０８に格納する。また、同時に、この撮像面座標（ｘc，ｙc）を撮像面・スクリーン座標変換パラメータ推定部３０４に出力する（ステップ５０５）。４つの全ての頂点について抽出を完了したかチェックし（ステップ５０６）、完了していなければステップ５０５の処理を繰り返す。
【０１６９】
次に、撮像面・スクリーン座標変換パラメータ推定部３０４は、撮像面座標とスクリーン座標間の変換パラメータを推定し（ステップ５０７）、この変換パラメータをメモリ３０８に格納する。
【０１７０】
次に、投影基準点抽出部１９０２は、ディジタル画像から投影基準点２１０１を画像処理によって抽出し、その撮像面座標（ｘc2，ｙc2）を求る。そして、撮像面座標（ｘc2，ｙc2）を撮像面・スクリーン座標変換パラメータによってスクリーン座標（Ｘw2，Ｙw2，０）に変換して（ステップ２００２）、出力する。そして全ての基準点の抽出処理が終了するまで（ステップ２００３）、ステップ２００２の処理を繰り返す。
【０１７１】
次に、スクリーン・被投影面座標変換パラメータ最小２乗推定部１９０３は、スクリーン座標系２０１と被投影面座標系２０３間の変換パラメータを基準点を用いて推定し（ステップ２００４）、矩形マスク投影パラメータ蓄積部１０８に格納する。一般に、スクリーン上の点（Ｘw2，Ｙw2，０）とその点の液晶パネル上の被投影面座標（ｘp2，ｙp2）は、（数６）または（数７）のように表される。
【０１７２】
ここで、基準点の被投影面座標（ｘp2，ｙp2）は、投影される投影基準画像から既知である。よって、４点以上の基準点の被投影面座標とスクリーン座標双方が既知であるため、その対応を用いて（数７）を満たすスクリーン・被投影面座標変換パラメータを最小２乗法により推定することができる。
【０１７３】
以下、ステップ５１１以降の処理については、図５と同様の処理となる。
【０１７４】
なお、本実施の形態においては、投影基準点を特定パターン（十字パターン）で表現しているが、この基準点を、例えば、格子パターンの交点とすることもできる。
【０１７５】
以上のように、本実施の形態によれば、投影基準画像生成部１９０１、投影基準点抽出部１９０２、及びスクリーン・被投影面座標変換パラメータ最小２乗推定部１９０３を備えることによって、スクリーン・被投影面座標変換パラメータの推定精度を向上させ、統合画像の貼り合わせ画像の歪みを大幅に低減できるようになった。
【０１７６】
また、投影部１０３と駆動部１０２を有する撮像部１０１を備えるため、撮像部１０１の光軸と入力対象面とを垂直な状態に保持しなくとも部分画像の撮像・入力が可能となる。これにより、画像処理装置の小型化・簡易化を図ることができ、さらに、大幅な統合画像の生成精度の向上（部分画像の貼り合わせ精度の向上）を図ることができる。
【０１７７】
＜実施の形態５＞
次に、本発明の第５の実施の形態について、図面を参照しながら説明する。
【０１７８】
図２２は、画像入力統合処理部２２０９の構成の一例を示す図である。図２２においては、図４と同一の構成には同一の符号を付している。また、画像処理装置全体の構成及びキャリブレーション処理部の構成も上述の何れかの実施の形態の構成と同様である。
【０１７９】
図２２において、画像入力統合処理部２２０９は、撮像部１０１で撮像された画像の取り込みを行う画像取り込み部４０６と、モード入力部１０４から画像入力統合処理モードが出力された際に、入力対象面１１１の入力部分の位置指定のために投影される矩形マスク９０１（図９）の移動方策（スキャン方策）に関連するスキャンパラメータを設定する矩形マスクスキャン方策計算部４０１と、想定投影画像を矩形マスク投影パラメータ蓄積部１０８に蓄積された被投影面・スクリーン座標変換パラメータによって変換し、被投影画像（被投影面座標系２０３（図２））を生成し、処理終了時に画像取り込み部４０６に処理終了を通知する被投影画像生成部４０５と、取り込み画像中から矩形マスク領域を抽出した矩形マスク抽出画像を生成する矩形マスク抽出部４０７と、スキャン方策に従った矩形マスクおよび格子マスクの配置位置を計算する矩形マスク投影位置計算部２２０１と、２種類の想定投影画像を生成する想定投影画像生成部２２０２と、取り込み画像中より格子マスクを抽出した格子マスク抽出画像を生成する格子マスク抽出部２２０３と、格子マスク抽出画像よりその格子点を抽出し、撮像した部分画像を統合画像の貼り合わせ位置に歪みなく貼り合わせるための撮像面・統合画像座標変換パラメータ（射影変換パラメータ）を最小２乗推定する射影変換パラメータ最小２乗推定部２２０４と、射影変換パラメータを蓄積する射影変換パラメータ蓄積部２２０５と、射影変換パラメータ最小２乗推定部２２０４で求められた射影変換パラメータに基づいて撮像された部分画像の統合画像への貼り合わせを行い、矩形マスク投影位置計算部２２０１に終了を通知する画像統合部４１４と、画像統合部４１４で貼り合わされた統合画像を蓄積する統合画像蓄積部４１５と、を備えている。
【０１８０】
ここで、想定投影画像生成部２２０２で生成された想定投影画像は、入力対象面１１１上に投影される投影像と同一の画像となる。また、想定投影画像生成部２２０２で生成される想定生成画像の一方は単色背景面上に背景色と異なる色の矩形マスク９０１（図９）を配置した画像（スクリーン座標系２０１（図２））であり、他方は単色背景面上に背景色と異なる色の直交格子パターンから成る格子マスクを配置した画像（スクリーン座標系２０１）である。
【０１８１】
本実施の形態では、画像貼り合わせ時に使用する撮像面・統合画像座標変換パラメータを求める際に、格子パターンを用いてパラメータ推定のための座標既知点の数を増やすことにより、最小２乗法によるパラメータ推定精度の向上を図ることができる。
【０１８２】
図２３は、本実施の形態による画像入力統合処理部２２０９の動作のうち図５のステップ５１４を詳細にしたフローチャートである。また、図２４は、本実施の形態による画像入力統合処理部２２０９の動作のうち図５のステップ５１５を詳細にしたフローチャートである。なお、本実施の形態による画像入力統合処理部２２０９が適用される画像処理装置の全体的な動作は、図５に示したフローチャートと同様である。
【０１８３】
以下、本実施の形態による画像入力統合処理部２２０９の動作を図５、図２３及び図２４を用いて詳細に説明する。ここで、図２３においては、図１０と同一の処理には同一のステップ番号を付している。
【０１８４】
図５において、まず、モード入力部１０４から利用者などの外部からの入力によって画像入力統合モードが設定される（ステップ５１２)。そして、画像入力統合処理部２２０９において、入力対象面１１１上でどのように部分画像を撮像するかに関して格子マスク・矩形マスクのスキャン方策を設定するためのスキャンパラメータを計算する（ステップ５１３）。
【０１８５】
次に、画像入力統合処理部１０９（図１）において、スキャン方策で示された位置の部分画像を撮像するために撮像部１０１の撮像位置合わせを行う（ステップ５１４）。撮像位置合わせ処理においては、まず投影するマスク位置を設定する（ステップ５１４ａ）。
【０１８６】
次に、全ての部分画像について撮像・統合が完了したかどうか判定する（ステップ５１４ｂ）。
【０１８７】
ステップ５１４ｂで、全ての部分画像の撮像・統合が完了したと判定された場合、画像入力統合処理を終了する。全ての部分画像の撮像・統合を完了していなければ、設定された矩形マスクを撮像部１０１が撮像できるように撮像位置の位置合わせを行う（ステップ５１４ｃ）。
【０１８８】
次に、画像入力統合処理部１０９（図１）は、撮像された部分画像を統合画像に貼り合わせ統合し（ステップ５１５）、ステップ５１４〜ステップ５１５の処理を繰り返す。
【０１８９】
以上により、画像入力統合は行われるが、ステップ５１３及びステップ５１５の処理の詳細は実施の形態１と同様である。
【０１９０】
次に、ステップ５１４及びステップ５１５に関して、以下に詳細に説明する。
【０１９１】
(ステップ５１４の詳細説明)
図２３において、まず、矩形マスクスキャン方策計算部４０１からの処理終了信号を受けた矩形マスク投影位置計算部２２０１は、撮像位置合わせ処理を開始し、スキャンパラメータ（矩形・格子マスクサイズ（ただし、格子マスクサイズと矩形マスクサイズは等しい）、スキャン順序、スキャン刻み、横方向・縦方向最大値、横方向・縦方向最小値）に基づいて、マスクの位置を計算する（ステップ５１４ａ）。なお、この矩形マスク投影位置計算部２２０１の出力には、例えば、マスク頂点座標（４頂点のスクリーン座標値）を用いればよい。また、このマスク位置計算により最終部分画像の撮像が終っていると判断されると（ステップ５１４ｂ）、入力処理は完了する。
【０１９２】
次に、想定投影画像生成部２２０２において、単色背景（例えば、黒色）上に背景色と異なる色（例えば、白色）の格子マスク（マスク頂点座標を４頂点とし、格子間隔は予め与えておく）を配置したスクリーン座標系表現の想定投影画像を生成する（ステップ２３０２）。この画像は、入力対象面１１１上における投影像と同一の画像となる。
【０１９３】
次に、被投影画像生成部４０５は、被投影面座標系表現の被投影画像を生成する（ステップ１００１）。また、被投影面画像生成部４０５は、処理を終了すると、投影部１０３に対し被投影画像を出力し、投影部１０３によって完全に投影が行われるのに十分な時間の遅延処理を行った後に、撮像指示信号を画像取り込み部４０６に出力する。
【０１９４】
次に、投影部１０３は、被投影画像の投影を行う（ステップ１００２）。
【０１９５】
次に、画像取り込み部４０６は、撮像部１０１によって撮像された格子マスクを含む入力対象面１１１の撮像画像の画像取り込みを行う（ステップ２３０３）。そして、この画像を格子マスク抽出部２２０３に出力する。
【０１９６】
次に、格子マスク抽出部２２０３は、その撮像画像に対して輝度などを用いた直線検出の処理を行い、格子マスク領域を撮像画像より抽出した格子マスク抽出画像を生成する（ステップ２３０４）。
【０１９７】
次に、射影変換パラメータ最小２乗推定部２２０４は、格子マスク抽出部２２０３で生成された格子マスク抽出画像から格子マスクの複数の交点（４点以上）の撮像面座標（ｘ3，ｙ3）を抽出する（ステップ２３０９）。
【０１９８】
続いて、射影変換パラメータ最小２乗推定部２２０４は、格子マスク交点の撮像面座標（ｘ3，ｙ3）と統合画像座標（ｘmi，ｙmi）から撮像面・統合画像座標変換パラメータを求める（ステップ２３１０）。そして、射影変換パラメータ最小２乗推定部２２０４は、この撮像面・統合画像座標変換パラメータを射影変換パラメータ蓄積部２２０５に蓄積し、処理終了信号を矩形マスク投影位置計算部２２０１に出力する。ここで、統合画像座標系はスクリーン座標系２０１のｘｙ平面によって規定される平面座標系とまったく同一と考えることができる。そのため、格子マスク投影のために矩形マスク投影位置計算部２２０１で出力した既知の格子間隔で設定された格子点のスクリーン座標をそのまま格子点の統合画像座標として用いることができる。そして、それら格子点（４点以上）の既知の撮像面座標とスクリーン座標の対応を用いて上述の（数９）の撮像面・統合画像座標変換パラメータ（射影変換パラメータ）を最小２乗推定することができる。
【０１９９】
（ステップ５１５の詳細説明)
以下に、図２４を用いてステップ５１５の詳細な動作について説明する。
【０２００】
図２４において、射影変換パラメータ最小２乗推定部２２０４から処理終了信号を受けた矩形マスク投影位置計算部２２０１は、画像統合処理を開始する。
【０２０１】
矩形マスク投影位置計算部２２０１は、矩形マスク配置位置（前回格子マスクを投影した位置と同じ位置）及び撮像モード（統合撮像モード）を出力する。そして、想定投影画像生成部２２０２は、その位置に単色背景（例えば、黒色）上にこの背景色と異なる色（例えば、白色）の矩形マスクを配置したスクリーン座標系表現の想定投影画像を生成する（ステップ２４０２）。
【０２０２】
次に、被投影画像生成部４０５は、想定投影画像を矩形マスク投影パラメータ蓄積部１０８に蓄積されたスクリーン・被投影面座標変換パラメータによって変換する。これにより、被投影面座標系表現の被投影画像を生成する（ステップ２４０３）。また、被投影面画像生成部４０５は、処理を終了すると、投影部１０３に対し被投影画像を出力する。そして、投影部１０３によって完全に投影が行われるのに十分な時間の遅延処理を行った後に、撮像指示信号を画像取り込み部４０６に出力する。
【０２０３】
次に、投影部１０３は、被投影画像の投影を行う（ステップ２４０４）。
【０２０４】
次に、画像取り込み部４０６は、撮像部１０１によって撮像された矩形マスクを含む入力対象面１１１の撮像画像の画像取り込みを行い（ステップ２４０５）、矩形マスク抽出部４０７に出力する。
【０２０５】
次に、矩形マスク抽出部４０７において、その撮像画像に対して輝度などを用いた領域分割の処理を行い、矩形マスク領域を撮像画像から抽出した矩形マスク抽出画像を生成する（ステップ２４０６）。
【０２０６】
次に、画像統合部４１４は、矩形マスク抽出画像中の矩形マスク領域を射影変換パラメータ蓄積部２２０５に蓄積された撮像面・統合画像座標変換パラメータによって変換し、そこで得られる統合画像座標値に基づいて、統合画像蓄積部４１５に蓄積された統合画像に貼り合わせ合成を行う（ステップ２４０７）。このとき、統合画像座標系に対応させたｘｙ座標を持つ統合画像メモリを統合画像蓄積部４１５内に配置して、その統合画像メモリに画像統合部４１４がアクセスすることにより貼り合わせ統合を行う。
【０２０７】
そして、画像統合部４１４は、貼り合わせ統合処理終了後にマスク投影位置計算部２２０１に対し処理終了信号を出力する。以上により、画像統合処理を終了する。
【０２０８】
なお、本実施の形態においては、投影マスクに格子マスクを用いた場合について説明したが、格子点に相当する位置に特定パターン（十字パターンなど）を持つマスクを用いることもできる。
【０２０９】
以上のように、本実施の形態によれば、格子マスク及び矩形マスクを配置した想定投影画像を生成する想定投影画像生成部２２０２、格子マスク抽出部２２０３、射影変換パラメータ最小２乗推定部２２０４、及び射影変換パラメータ蓄積部２２０５を備えることにより、撮像面・統合画像座標変換パラメータ（射影変換パラメータ）の推定精度を向上させることができ、さらに、統合画像の貼り合わせ精度を大幅に向上することができる。
【０２１０】
また、投影部１０３と駆動部１０２を有する撮像部１０１を備えるため、撮像部１０１の光軸と入力対象面とを垂直な状態に保持しなくとも部分画像の撮像・入力が可能となり、装置の小型化・簡易化を容易に行うことが出来る。さらに、大幅な統合画像の生成精度（貼り合わせ精度および部分画像の幾何歪み補正精度）を向上させることができる。
【０２１１】
＜実施の形態６＞
次に、本発明の第６の実施の形態について、図面を参照しながら説明する。
【０２１２】
図２５は、画像入力統合処理部２５１９及び駆動処理部２５１６の構成の一例を示す図である。図２５においては、図１４と同一の構成には同一の符号を付している。また、画像処理装置全体の構成及びキャリブレーション処理部の構成も上述の何れかの実施の形態の構成と同様である。
【０２１３】
図２５において、画像入力統合処理部２５１９は、撮像部１０１で撮像された画像の取り込みを行う画像取り込み部１４０６と、モード入力部１０４から画像入力統合処理モードが出力された際に、入力対象面１１１の入力部分の位置指定のために投影される矩形マスク９０１の移動方策（スキャン方策）に関連するスキャンパラメータを設定する矩形マスクスキャン方策計算部４０１と、想定投影画像を矩形マスク投影パラメータ蓄積部１０８に蓄積された被投影面・スクリーン座標変換パラメータによって変換し、被投影画像（被投影面座標系２０３（図２））を生成し、処理終了時に画像取り込み部１４０６に処理終了を通知する被投影画像生成部４０５と、取り込み画像中から矩形マスク領域を抽出した矩形マスク抽出画像を生成する矩形マスク抽出部１４０７と、スキャン方策に従った矩形マスクおよび格子マスクの配置位置を計算するマスク投影位置計算部２５０１と、２種類の想定投影画像を生成する想定投影画像生成部２５０２と、取り込み画像中より格子マスクを抽出した格子マスク抽出画像を生成する格子マスク抽出部２５０３と、格子マスク抽出画像よりその格子点を抽出し、撮像した部分画像を統合画像の貼り合わせ位置に歪みなく貼り合わせるための撮像面・統合画像座標変換パラメータ（射影変換パラメータ）を最小２乗推定する射影変換パラメータ最小２乗推定部２５０４と、射影変換パラメータを蓄積する射影変換パラメータ蓄積部２５０５と、射影変換パラメータ最小２乗推定部２５０４で求められた射影変換パラメータに基づいて撮像された部分画像の統合画像への貼り合わせを行い、矩形マスク投影位置計算部２５０１に終了を通知する画像統合部４１４と、画像統合部４１４で貼り合わされた統合画像を蓄積する統合画像蓄積部４１５と、を備えている。
【０２１４】
ここで、想定投影画像生成部２５０２で生成された想定投影画像は、入力対象面１１１上に投影される投影像と同一の画像となる。また、想定投影画像生成部２５０２で生成される想定生成画像の一方は単色背景面上に背景色と異なる色の矩形マスク９０１（図９）を配置した画像（スクリーン座標系２０１（図２））であり、他方は単色背景面上に背景色と異なる色の直交格子パターンから成る格子マスクを配置した画像（スクリーン座標系２０１）である。
【０２１５】
また、駆動処理部２５１６は、矩形マスク投影と部分画像撮像の同期制御のための制御情報を蓄積する制御情報蓄積部１４０２と、格子マスク抽出画像から撮像画像内における格子マスクの位置を判定し、撮像部１０１の撮像領域移動（パン・チルト調整）が必要かどうかを決定する撮像マスク位置判定部２５０６と、撮像マスク位置判定部２５０６からパン・チルト調整実行の指示を受けた際に、その格子マスク位置に基づいてパン・チルト量を推定し、駆動制御部１４１６に出力するパン・チルト量推定部２５０７と、格子マスク抽出画像から撮像画像内における格子マスクのサイズを判定し、撮像部１０１の撮像領域拡大・縮小（ズーム調整）が必要かどうかを決定する撮像マスクサイズ判定部２５０８と、撮像マスクサイズ判定部２５０８からズーム調整実行の指示を受けた際に、その格子マスクサイズに基づいてズーム量を推定し、駆動制御部１４１６に出力するズーム量推定部２５０９と、撮像した画像に存在する矩形マスクが撮像領域移動用（スキャン用）に配置されたものか統合画像入力用に配置されたものかを制御情報蓄積部１４０２にアクセスし、その次の処理を矩形マスク投影位置計算部２５０１に進めるか、射影変換パラメータ最小２乗推定部２５０４に進めるかを決定する撮像モード判定部１４１２と、を備えている。
【０２１６】
本実施の形態では、画像貼り合わせ時に使用する撮像面・統合画像座標変換パラメータを求める際に、格子パターンを用いてパラメータ推定のための座標既知点の数を増やすことにより、最小２乗法によるパラメータ推定精度の向上を図ることができる。
【０２１７】
図２６は、本実施の形態による画像入力統合処理部２５１９の動作のうち図５のステップ５１４を詳細にしたフローチャートである。また、図２７は、本実施の形態による画像入力統合処理部２５１９の動作のうち図５のステップ５１５を詳細にしたフローチャートである。なお、本実施の形態による画像入力統合処理部２５１９が適用される画像処理装置の全体的な動作は、図５に示したフローチャートと同様である。
【０２１８】
以下、本実施の形態による画像入力統合処理部２５１９の動作を図５、図２６及び図２７を用いて詳細に説明する。ここで、図２６においては、図１５及び図２３と同一の処理には同一のステップ番号を付している。
【０２１９】
図５において、まず、モード入力部１０４から利用者などの外部からの入力によって画像入力統合モードが設定される（ステップ５１２)。そして、画像入力統合処理部２５１９において、入力対象面１１１上でどのように部分画像を撮像するかに関して格子マスク・矩形マスクのスキャン方策を設定するためのスキャンパラメータを計算する（ステップ５１３）。
【０２２０】
次に、画像入力統合処理部１２０９（図１２）において、スキャン方策で示された位置の部分画像を撮像するために撮像部１０１の撮像位置合わせを行う（ステップ５１４）。撮像位置合わせ処理においては、まず投影するマスク位置を設定する（ステップ５１４ａ）。
【０２２１】
次に、全ての部分画像について撮像・統合が完了したかどうか判定する（ステップ５１４ｂ）。
【０２２２】
ステップ５１４ｂで、全ての部分画像の撮像・統合が完了したと判定された場合、画像入力統合処理を終了する。全ての部分画像の撮像・統合を完了していなければ、設定された矩形マスクを撮像部１０１が撮像できるように撮像位置の位置合わせを行う（ステップ５１４ｃ）。
【０２２３】
次に、画像入力統合処理部１２０９（図１２）は、撮像された部分画像を統合画像に貼り合わせ統合し（ステップ５１５）、ステップ５１４〜ステップ５１５の処理を繰り返す。
【０２２４】
以上により、画像入力統合は行われるが、ステップ５１３の処理の詳細は実施の形態１と同様である。
【０２２５】
次に、ステップ５１４及びステップ５１５に関して、以下に詳細に説明する。
【０２２６】
(ステップ５１４の詳細説明)
図２６において、まず、矩形マスクスキャン方策計算部４０１からの処理終了信号を受けたマスク投影位置計算部２５０１は、撮像位置合わせ処理を開始し、スキャンパラメータ（矩形・格子マスクサイズ（ただし、格子マスクサイズと矩形マスクサイズは等しい）、スキャン順序、スキャン刻み、横方向・縦方向最大値、横方向・縦方向最小値）に基づいて、マスクの位置を計算する（ステップ５１４ａ）。なお、このマスク投影位置計算部２５０１の出力には、例えば、マスク頂点座標（４頂点のスクリーン座標値）を用いればよい。また、このマスク位置計算により最終部分画像の撮像が終っていると判断されると（ステップ５１４ｂ）、入力処理は完了する。
【０２２７】
また、処理終了時にマスク投影位置計算部２５０１は、制御情報蓄積部１４０２に撮像モードの書き込みを行う（ステップ２６０１）。なお、ここで使われる撮像モードには、統合撮像モード（入力統合を行うための撮像）、統合撮像調整モード（入力統合用撮像のための撮像部１０１の撮像領域の調整）、及びスキャンモード（撮像部１０１の撮像領域をスキャンさせるための撮像）がある。
【０２２８】
また、各モードは、図９（ｂ）を用いて実施の形態１の「（ステップ５１３の詳細）」で説明した矩形マスク位置によって設定されるが、具体的には以下のように設定される。
（ａ）スキャンモード ：格子マスク投影位置が統合画像として貼り合わせ合成される部分以外であり、撮像部スキャン用に設定された場合
（ｂ）統合撮像調整モード：格子マスク投影位置が統合画像として貼り合わせ合成される部分に設定された場合
（ｃ）統合撮像モード ：格子マスクを用いて統合撮像調整が終了した後、矩形マスク位置を調整時の格子マスク位置と同一位置に設定する場合
【０２２９】
次に、想定投影画像生成部２５０２において、単色背景（例えば、黒色）上に背景色と異なる色（例えば、白色）の格子マスク（マスク頂点座標を４頂点とし、格子間隔は予め与えておく）を配置したスクリーン座標系表現の想定投影画像を生成する（ステップ２３０２）。この画像は、入力対象面１１１上における投影像と同一の画像となる。
【０２３０】
次に、被投影画像生成部４０５は、被投影面座標系表現の被投影画像を生成する（ステップ１００１）。また、被投影面画像生成部４０５は、処理を終了すると、投影部１０３に対し被投影画像を出力し、投影部１０３によって完全に投影が行われるのに十分な時間の遅延処理を行った後に、撮像指示信号を画像取り込み部１４０６に出力する。
【０２３１】
次に、投影部１０３は、被投影画像の投影を行う（ステップ１００２）。
【０２３２】
次に、画像取り込み部１４０６は、制御情報蓄積部１４０２がスキャンモードまたは統合撮像調整モードであることを確認し、撮像部１０１によって撮像された格子マスクを含む入力対象面１１１の撮像画像の画像取り込みを行う（ステップ２３０３）。そして、この画像を格子マスク抽出部２５０３に出力する。
【０２３３】
次に、格子マスク抽出部２５０３は、その撮像画像に対して輝度などを用いた直線検出の処理を行い、格子マスク領域を撮像画像より抽出した格子マスク抽出画像を生成する（ステップ２３０４）。
【０２３４】
次に、撮像マスク位置判定部２５０６は、格子マスク抽出画像から格子マスク領域の画像中での重心位置を求めて、その重心位置と画像中心間の画像距離が既定距離内（ｘ［ｐｉｘ］内）にあるかどうか判定する（ステップ２６０５）。ステップ２６０５で、既定距離内にないと判定された場合には、パン・チルト量推定部２５０７は、画像距離に基づいてパン、チルトの撮像部制御量を推定する。このパン、チルトの撮像部制御量は、駆動制御部１４１６に出力される。駆動制御部１４１６は、駆動部１０２を介して撮像部１０１をパン・チルト制御する（ステップ２６０６）。そして、駆動制御部１４１６は、駆動部１０２の駆動終了後に画像取り込み部１４０６に駆動終了信号を出力する。以下、ステップ２６０１〜ステップ２６０５の処理を繰り返す。
【０２３５】
一方、ステップ２６０５で、既定距離内にあると判定された場合には、撮像マスクサイズ判定部２５０８が、格子マスク抽出画像より格子マスク領域内の画素数をカウントして、その画素数が解像度で規定された画素数ｔ＿ｐ＿ｎｕｍ［ｐｉｘ］（ｉx0＊ｉy0＝ｔ＿ｐ＿ｎｕｍ［ｐｉｘ］）以上で、かつ格子マスク全体が画角内に入っているかどうかを調べる（ステップ２６０７）。ここで、格子マスク領域内の画素数がｔ＿ｐ＿ｎｕｍ［ｐｉｘ］以下または格子マスク全体が画角内に入っていない場合には、ズーム量推定部２５０９は、格子マスク領域内画素数に基づいてズーム量を推定し、このズーム量を駆動制御部１４１６に出力する。駆動制御部１４１６は、駆動部１０２を介して撮像部１０１のズーム制御を行う（ステップ２６０８）。そして、駆動制御部１４１６は、駆動終了後に画像取り込み部１４０６に駆動終了信号を出力する。以下、ステップ２６０１〜ステップ２６０７の処理を繰り返す。
【０２３６】
また、ステップ２６０７で、格子マスク領域内画素数がｔ＿ｐ＿ｎｕｍ［ｐｉｘ］以上で、かつ格子マスク全体が画角内に入っている場合には、撮像マスクサイズ判定部２５０８は、撮像モード判定部１４１２に対して撮像モード判定指示信号を出力する。ここで、撮像モード判定部１４１２は、制御情報蓄積部１４０２に格納されている制御情報の問い合わせを行い、制御情報を判定する（ステップ１５０７）。制御情報が統合撮像調整モードである場合には、撮像モード判定部１４１２は、射影変換パラメータ最小２乗推定部２５０４に対して、撮像画像の処理を指示する実行信号を出力する。また、制御情報がスキャンモードである場合には、撮像モード判定部１４１２は、マスク投影位置計算部２５０１に対し、投影指示信号を出力する。以下、ステップ５１４ａ〜ステップ１５０７の処理を繰り返し行う。
【０２３７】
次に、実行信号を受けた射影変換パラメータ最小２乗推定部２５０４は、格子マスク抽出部２５０３で生成された格子マスク抽出画像から格子マスクの複数の交点（４点以上）の撮像面座標（ｘ3，ｙ3）を抽出する（ステップ２３０９）。
【０２３８】
続いて、射影変換パラメータ最小２乗推定部２５０４は、格子マスク交点の撮像面座標（ｘ3，ｙ3）と統合画像座標（ｘmi，ｙmi）から撮像面・統合画像座標変換パラメータを求める（ステップ２３１０）。そして、射影変換パラメータ最小２乗推定部２５０４は、この撮像面・統合画像座標変換パラメータを射影変換パラメータ蓄積部２５０５に蓄積し、処理終了信号をマスク投影位置計算部２５０１に出力する。ここで、統合画像座標系はスクリーン座標系２０１のｘｙ平面によって規定される平面座標系とまったく同一と考えることができる。そのため、格子マスク投影のためにマスク投影位置計算部２５０１で出力した既知の格子間隔で設定された格子点のスクリーン座標をそのまま格子点の統合画像座標として用いることができる。そして、それら格子点（４点以上）の既知の撮像面座標とスクリーン座標の対応を用いて上述の（数９）の撮像面・統合画像座標変換パラメータ（射影変換パラメータ）を最小２乗推定することができる。
【０２３９】
（ステップ５１５の詳細説明)
以下に、図２７を用いてステップ５１５の詳細な動作について説明する。
【０２４０】
図２７において、射影変換パラメータ最小２乗推定部２５０４から処理終了信号を受けたマスク投影位置計算部２５０１は、画像統合処理を開始する。
【０２４１】
マスク投影位置計算部２５０１は、矩形マスク配置位置（前回格子マスクを投影した位置と同じ位置）を想定投影画像生成部２５０２に出力し、撮像モード（統合撮像モード）を制御情報蓄積部１４０２上に出力する。そして、想定投影画像生成部２５０２は、その位置に単色背景（例えば、黒色）上にこの背景色と異なる色（例えば、白色）の矩形マスクを配置したスクリーン座標系表現の想定投影画像を生成する（ステップ２７０２）。
【０２４２】
次に、被投影画像生成部４０５は、想定投影画像を矩形マスク投影パラメータ蓄積部１０８に蓄積されたスクリーン・被投影面座標変換パラメータによって変換する。これにより、被投影面座標系表現の被投影画像を生成する（ステップ２７０３）。また、被投影面画像生成部４０５は、処理を終了すると、投影部１０３に対し被投影画像を出力する。そして、投影部１０３によって完全に投影が行われるのに十分な時間の遅延処理を行った後に、撮像指示信号を画像取り込み部１４０６に出力する。
【０２４３】
次に、投影部１０３は、被投影画像の投影を行う（ステップ２７０４）。
【０２４４】
次に、画像取り込み部１４０６は、制御情報蓄積部１４０２が統合撮像モードであることを確認し、撮像部１０１によって撮像された矩形マスクを含む入力対象面１１１の撮像画像の画像取り込みを行い（ステップ２７０５）、矩形マスク抽出部１４０７に出力する。
【０２４５】
次に、矩形マスク抽出部１４０７において、その撮像画像に対して輝度などを用いた領域分割の処理を行い、矩形マスク領域を撮像画像から抽出した矩形マスク抽出画像を生成する（ステップ２７０６）。
【０２４６】
次に、画像統合部４１４は、矩形マスク抽出画像中の矩形マスク領域を射影変換パラメータ蓄積部２５０５に蓄積された撮像面・統合画像座標変換パラメータによって変換し、そこで得られる統合画像座標値に基づいて、統合画像蓄積部４１５に蓄積された統合画像に貼り合わせ合成を行う（ステップ２７０７）。このとき、統合画像座標系に対応させたｘｙ座標を持つ統合画像メモリを統合画像蓄積部４１５内に配置して、その統合画像メモリに画像統合部４１４がアクセスすることにより貼り合わせ統合を行う。
【０２４７】
そして、画像統合部４１４は、貼り合わせ統合処理終了後にマスク投影位置計算部２５０１に対し処理終了信号を出力する。以上により、画像統合処理を終了する。
【０２４８】
なお、本実施の形態においては、投影マスクに格子マスクを用いた場合について説明したが、格子点に相当する位置に特定パターン（十字パターンなど）を持つマスクを用いることもできる。
【０２４９】
以上のように、本実施の形態によれば、格子マスク及び矩形マスクを配置した想定投影画像を生成する想定投影画像生成部２５０２、格子マスク抽出部２５０３、射影変換パラメータ最小２乗推定部２５０４、及び射影変換パラメータ蓄積部２５０５を備えることにより、撮像面・統合画像座標変換パラメータ（射影変換パラメータ）の推定精度を向上させることができ、さらに、統合画像の貼り合わせ精度を大幅に向上することができる。
【０２５０】
また、投影部１０３と駆動部１０２を有する撮像部１０１を備えるため、撮像部１０１の光軸と入力対象面とを垂直な状態に保持しなくとも部分画像の撮像・入力が可能となり、装置の小型化・簡易化を容易に行うことが出来る。さらに、大幅な統合画像の生成精度（貼り合わせ精度および部分画像の幾何歪み補正精度）を向上させることができる。
【０２５１】
【発明の効果】
以上に示したように、本発明の画像処理装置及び画像処理方法によれば、キャリブレーション処理により絵画などの入力対象面の全ての位置に自由に矩形パターンを投影することができ、これによって入力方策に従ったそれぞれの部分に矩形パターンの投影を行い、その矩形パターンを撮像するため、撮像光軸と入力対象平面とを垂直な状態に保持しなくとも部分画像の撮像・入力を行うことができる。このため、画像処理装置の小型化・簡易化が容易になった。
【０２５２】
また、本発明の画像処理装置によれば、その設置の位置関係などが生成される統合画像の画質に影響を与えないため、装置を構成する一部分の誤差によって統合画像の品質に影響を与えることがなく、高精度な画像入力統合が可能となった。
【０２５３】
また、本発明の画像処理装置及び画像処理方法によれば、貼り合わせのための位置決めは、電子的、光学的な矩形マスクの位置決め精度で決定するため、その誤差は非常に小さくなり、統合画像の品質を大幅に向上することができるようになった。
【０２５４】
また、キャリブレーション処理の際に投影基準画像を用いることにより、最小２乗法によりスクリーン・被投影面座標変換パラメータの推定精度を向上させ、統合画像の歪みを大幅に低減することができるようになった。
【０２５５】
また、入力対象面の撮像の際に矩形パターンと格子パターンを用いて、撮像面・統合画像座標変換パラメータを求める際に格子点を用いることにより、最小２乗法で撮像面・統合画像座標変換パラメータの推定精度を向上させ、統合画像の歪みを大幅に低減することができるようになった。
【図面の簡単な説明】
【図１】画像処理装置の構成を示すブロック図である。
【図２】各座標系の説明図である。
【図３】キャリブレーション処理部の構成を示すブロック図である。
【図４】画像入力統合処理部の構成を示すブロック図である。
【図５】画像処理装置の動作を示すフローチャートである。
【図６】画像処理装置の撮像する画像を示す図である。
【図７】スキャンパラメータを計算する処理のフローチャートである。
【図８】スキャン順序を設定する処理を示す図である。
【図９】矩形マスクのスキャン量を示す図である。
【図１０】撮像部の撮像位置合わせ処理のフローチャートである。
【図１１】部分画像の統合画像への貼り合わせ統合処理のフローチャートである。
【図１２】画像処理装置の構成を示すブロック図である。。
【図１３】キャリブレーション処理部の構成を示すブロック図である。
【図１４】画像入力統合処理部及び駆動処理部の構成を示すブロック図である。
【図１５】撮像部の撮像位置合わせ処理のフローチャートである。
【図１６】部分画像の統合画像への貼り合わせ統合処理のフローチャートである。
【図１７】キャリブレーション処理部の構成を示すブロック図である。
【図１８】画像処理装置の動作を示すフローチャートである。
【図１９】キャリブレーション処理部の構成を示すブロック図である。
【図２０】画像処理装置の動作を示すフローチャートである。
【図２１】撮像する画像を示す図である。
【図２２】画像入力統合処理部の構成を示すブロック図である。
【図２３】撮像部の撮像位置合わせ処理のフローチャートである。
【図２４】部分画像の統合画像への貼り合わせ統合処理のフローチャートである。
【図２５】画像入力統合処理部及び駆動処理部の構成を示すブロック図である。
【図２６】撮像部の撮像位置合わせ処理のフローチャートである。
【図２７】部分画像の統合画像への貼り合わせ統合処理のフローチャートである。
【図２８】従来の画像処理装置の構成図である。
【図２９】撮像部の撮像座標系を示す図である。
【図３０】従来の画像処理装置の動作を示すフローチャートである。
【図３１】入力対象面を示す図である。
【符号の説明】
１０１、２８０１ 撮像部
１０２ 駆動部
１０３ 投影部
１０４ モード入力部
１０７、１７０７、１９０７ キャリブレーション処理部
１０８ 矩形マスク投影パラメータ蓄積部
１０９、１２０９、２２０９、２５１９ 画像入力統合処理部
１１０ 投影面
１１１、２８１０ 入力対象面
１１２ モニタ部
２０１ スクリーン座標系
２０２ 投影部座標系
２０３ 被投影面座標系
２０４ 撮像部座標系
２０５ 撮像面座標系
２０６ 投影部焦点距離Ｆｐ
２０７ 撮像部焦点距離Ｆｃ
２０８ 投影光輪郭四角形
３０１、４０６、１４０６ 画像取り込み部
３０２ 画像メモリ
３０３ 入力対象面頂点抽出部
３０４ 撮像面・スクリーン座標変換パラメータ推定部
３０５ 投影光頂点抽出部
３０６ スクリーン・被投影面座標変換パラメータ推定部
３０７ 入力範囲計算部
３０８ メモリ
４０１ 矩形マスクスキャン方策計算部
４０３、１４０３、２２０１、２５０１ 矩形マスク投影位置計算部
４０４、２２０２、２５０２ 想定投影画像生成部
４０５ 被投影画像生成部
４０７、１４０７、２２０３、２５０３ 矩形マスク抽出部
４１３、１４１３ 射影変換パラメータ推定部
４１４、２８０８ 画像統合部
４１５、２８０９ 統合画像蓄積部
６０１ 投影光
８０１ 部分画像格子
８０２ スキャン開始点
９０１ 矩形マスク
１２０５ 駆動情報入力部
１２０６、２５１６ 駆動処理部
１４０２ 制御情報蓄積部
１４０８、２５０６ 撮像マスク位置判定部
１４０９、２５０７ パン・チルト量推定部
１４１０、２５０８ 撮像マスクサイズ判定部
１４１１、２５０９ ズーム量推定部
１４１２ 撮像モード判定部
１４１６、２８０６ 駆動制御部
１７０１ スクリーン基準点抽出部
１７０２ 撮像面・スクリーン座標変換パラメータ最小２乗推定部
１７０３ スクリーン基準パターン
１７０４ スクリーン基準点
１９０１ 投影基準画像生成部
１９０２ 投影基準点抽出部
１９０３ スクリーン・被投影面座標変換パラメータ最小２乗推定部
２１０１ 投影基準点
２２０４、２５０４ 射影変換パラメータ最小２乗推定部
２２０５、２５０５ 射影変換パラメータ蓄積部
２８０２ 横方向駆動部
２８０３ａ，２８０３ｂ 縦方向駆動部
２８０４ 制御指示入力部
２８０５ 撮像部位置計算部
２８０７ 撮像制御部
２９０１ ｘ軸
２９０２ ｙ軸
３１０１ 撮像領域

Claims (21)

1. 投影面にある所定の画像を分割して部分画像として撮像し、撮像した前記部分画像を統合して前記所定の画像の画像データを生成する画像処理装置であって、キャリブレーション処理に用いる画像及び前記所定の画像の部分画像を撮像する撮像手段と、
   前記キャリブレーション処理のための投影及び前記部分画像の領域の指定を行う投影手段と、
   前記投影手段の被投影面に定義される被投影面座標系と前記投影面に定義されるスクリーン座標系との間の座標変換パラメータを算出し、当該座標変換パラメータに基づいて前記撮像手段で撮像される前記所定の画像の前記投影面での領域を示す入力領域スクリーン座標を算出するキャリブレーション処理を行うキャリブレーション処理手段と、
   前記撮像手段で撮像された画像から前記指定された領域の前記部分画像を抽出し、前記部分画像を統合画像の貼り合わせ位置に歪みなく貼り合わせるための射影変換パラメータを求め、前記射影変換パラメータに基づいて前記部分画像の統合画像への貼り合わせを行って前記所定の画像の画像データを生成する画像入力統合処理手段と、
   を備え、
   前記画像入力統合処理手段は、前記キャリブレーション処理手段で算出された前記入力領域スクリーン座標に基づいて前記所定の画像から分割される前記部分画像を決定し、
   前記撮像手段は、前記画像入力統合処理手段で決定された前記部分画像を撮像する、
   ことを特徴とする画像処理装置。
2. さらに、前記キャリブレーション処理手段または前記画像入力統合処理手段の何れかの手段を動作可能にするモード入力手段を有することを特徴とする請求項１記載の画像処理装置。
3. さらに、前記キャリブレーション処理手段で算出された前記座標変換パラメータと前記入力領域スクリーン座標を格納する矩形マスク投影パラメータ蓄積手段を備え、
   前記画像入力統合処理手段は、前記矩形マスク投影パラメータ蓄積手段に格納されている前記入力領域スクリーン座標に基づいて前記所定の画像から分割される前記部分画像を決定する、
   ことを特徴とする請求項１または２記載の画像処理装置。
4. さらに、前記撮像手段で撮像されている画像を表示するモニタ手段を備えることを特徴とする請求項１乃至３記載の画像処理装置。
5. 前記撮像手段は、ＣＣＤ（Charge Coupled Device）カメラであることを特徴とする請求項１乃至４記載の画像処理装置。
6. 前記キャリブレーション処理手段は、
   前記撮像手段で撮像された撮像画像を取り込む画像取り込み手段と、
   前記画像取り込み手段で取り込んだ撮像画像を格納する画像メモリと、
   前記画像メモリに格納された前記撮像画像から入力対象面の頂点の位置を抽出し、抽出された前記位置に基づいて前記撮像手段の撮像平面に定義される撮像面座標系における前記頂点の撮像面座標値を算出する入力対象面頂点抽出手段と、
   前記入力対象面頂点抽出手段で算出された前記入力対象面の頂点の前記撮像面座標値と、前記投影面に定義されるスクリーン座標系における予め準備された前記入力対象面の頂点のスクリーン座標値とに基づいて、撮像面・スクリーン座標間変換パラメータを推定する撮像面・スクリーン座標変換パラメータ推定手段と、
   前記撮像面・スクリーン座標変換パラメータと前記入力対象面の頂点の前記撮像面座標値を格納するメモリと、前記画像メモリに格納された前記撮像画像から前記投影手段で投影された投影光の頂点の撮像面座標値を抽出し、前記メモリに格納された前記撮像面・スクリーン座標変換パラメータによって前記投影光の頂点の撮像面座標値をスクリーン座標値に変換する投影光頂点抽出手段と、
   前記投影光頂点抽出手段で変換された前記投影光の頂点のスクリーン座標値と、前記投影手段の被投影面に定義される被投影面座標系における予め準備された前記被投影面の有効投影範囲の被投影面座標値とからスクリーン・被投影面座標変換パラメータを推定し、当該スクリーン・被投影面座標変換パラメータを前記矩形マスク投影パラメータ蓄積手段に出力するスクリーン・被投影面座標変換パラメータ推定手段と、
   前記メモリに格納された前記撮像面・スクリーン変換パラメータによって前記入力領域スクリーン座標を計算し、前記矩形マスク投影パラメータ蓄積手段に出力する入力範囲計算手段と、
   を有することを特徴とする請求項１乃至５記載の画像処理装置。
7. 前記投影面は、それぞれの相対位置関係が既知の４点以上のドットなどの点または格子点からなるスクリーン基準点が配置されたスクリーン基準パターンを有し、
   前記キャリブレーション処理手段は、
   前記撮像手段で撮像された撮像画像を取り込む画像取り込み手段と、
   前記画像取り込み手段で取り込んだ撮像画像を格納する画像メモリと、
   前記画像メモリに格納された前記撮像画像から前記スクリーン基準パターン上のスクリーン基準点位置を抽出し、前記撮像面座標系における前記スクリーン基準点の座標値を出力するスクリーン基準点抽出手段と、
   前記スクリーン基準パターン上の前記スクリーン基準点の座標値と、前記投影面に定義されるスクリーン座標系における予め準備された前記入力対象面の頂点のスクリーン座標値とに基づいて、撮像面・スクリーン座標間変換パラメータを最小２乗推定する撮像面・スクリーン座標変換パラメータ推定手段と、
   前記画像メモリに格納された前記撮像画像から入力対象面の頂点の位置を抽出し、抽出された前記位置に基づいて前記撮像手段の撮像平面に定義される撮像面座標系における前記頂点の撮像面座標値を算出する入力対象面頂点抽出手段と、
   前記撮像面・スクリーン座標変換パラメータと前記入力対象面の頂点の前記撮像面座標値を格納するメモリと、前記画像メモリに格納された前記撮像画像から前記投影手段で投影された投影光の頂点の撮像面座標値を抽出し、前記メモリに格納された前記撮像面・スクリーン座標変換パラメータによって前記投影光の頂点の撮像面座標値をスクリーン座標値に変換する投影光頂点抽出手段と、
   前記投影光頂点抽出手段で変換された前記投影光の頂点のスクリーン座標値と、前記投影手段の被投影面に定義される被投影面座標系における予め準備された前記被投影面の有効投影範囲の被投影面座標値とからスクリーン・被投影面座標変換パラメータを推定し、当該スクリーン・被投影面座標変換パラメータを前記矩形マスク投影パラメータ蓄積手段に出力するスクリーン・被投影面座標変換パラメータ推定手段と、
   前記メモリに格納された前記撮像面・スクリーン変換パラメータによって前記入力領域スクリーン座標を計算し、前記矩形マスク投影パラメータ蓄積手段に出力する入力範囲計算手段と、
   を有することを特徴とする請求項１乃至５記載の画像処理装置。
8. 前記キャリブレーション処理手段は、所定の投影基準点を有し前記投影手段によってキャリブレーション用に投影される投影基準画像の生成を行う投影基準画像生成手段と、
   前記撮像手段で撮像した撮像画像を取り込む画像取り込み手段と、
   前記画像取り込み手段で取り込んだ撮像画像を格納する画像メモリと、
   前記画像メモリに格納された前記撮像画像から入力対象面の頂点の位置を抽出し、抽出された前記位置に基づいて前記撮像手段の撮像平面に定義される撮像面座標系における前記頂点の撮像面座標値を算出する入力対象面頂点抽出手段と、
   前記入力対象面頂点抽出手段で算出された前記入力対象面の頂点の前記撮像面座標値と、前記投影面に定義されるスクリーン座標系における予め準備された前記入力対象面の頂点のスクリーン座標値とに基づいて、撮像面・スクリーン座標間変換パラメータを推定する撮像面・スクリーン座標変換パラメータ推定手段と、
   前記撮像面・スクリーン座標変換パラメータと前記入力対象面の頂点の前記撮像面座標値を格納するメモリと、
   前記画像メモリに格納された前記撮像画像から被投影面座標値が既知の前記投影基準点の撮像面座標値を抽出し、前記メモリに格納された撮像面・スクリーン座標変換パラメータによって、前記投影基準点の前記撮像面座標値をスクリーン座標値に変換して出力する投影基準点抽出手段と、
   前記投影基準点のスクリーン座標値と既知の被投影面座標値に基づいてスクリーン・被投影面座標変換パラメータを推定し、前記矩形マスク投影パラメータ蓄積手段に出力するスクリーン・被投影面座標変換パラメータ最小２乗推定手段と、
   前記メモリに格納された前記撮像面・スクリーン変換パラメータによって前記入力領域スクリーン座標を計算し、前記矩形マスク投影パラメータ蓄積手段に出力する入力範囲計算手段と、
   を有することを特徴とする請求項１乃至５記載の画像処理装置。
9. 前記画像入力統合処理手段は、
   前記入力領域スクリーン座標で表される前記投影面上の領域内にある前記所定の画像の全ての部分画像が前記撮像手段によって撮像可能なように、前記部分画像に対応する矩形マスクの位置移動について、前記矩形マスクのサイズ、スキャン順序、スキャン刻み、移動領域横方向・縦方向最大値、移動領域横方向・縦方向最小値を計算する矩形マスクスキャン方策計算手段と、
   前記部分画像の撮像のために配置される矩形マスクの位置を計算する矩形マスク投影位置計算手段と、
   前記矩形マスクの位置に基づいて所定の単色の背景面上に前記所定の単色と異なる色の前記矩形マスクを配置した前記投影面上に投影される画像と同一でありかつ前記スクリーン座標系の想定投影画像を生成する想定投影画像生成手段と、
   前記矩形マスク投影パラメータ蓄積手段に蓄積された前記被投影面・スクリーン座標変換パラメータを用いて、前記想定投影画像に対応した前記被投影面座標系の被投影画像を生成する被投影画像生成手段と、
   前記撮像手段で撮像された撮像画像を取り込む画像取り込み手段と、
   前記撮像画像から前記矩形マスクを抽出して矩形マスク画像を生成する矩形マスク抽出手段と、
   前記部分画像を統合画像の貼り合わせ位置に歪みなく貼り合わせるための射影変換パラメータを求める射影変換パラメータ推定手段と、
   前記射影変換パラメータに基づいて前記撮像手段で撮像された前記部分画像の統合画像への貼り合わせを行う画像統合手段と、
   前記統合画像を画像データとして蓄積する統合画像蓄積手段と、
   を備えることを特徴とする請求項１乃至８記載の画像処理装置。
10. 前記画像入力統合処理手段は、
    前記入力領域スクリーン座標で表される前記投影面上の領域内にある前記所定の画像の全ての部分画像が前記撮像手段によって撮像可能なように、前記部分画像に対応する矩形マスクの位置移動について、前記矩形マスクのサイズ、スキャン順序、スキャン刻み、移動領域横方向・縦方向最大値、移動領域横方向・縦方向最小値を計算する矩形マスクスキャン方策計算手段と、
    前記部分画像の撮像のために配置される格子マスク及び矩形マスクの位置を計算する矩形マスク投影位置計算手段と、
    前記矩形マスクの位置に基づいて所定の単色の背景面上に前記所定の単色と異なる色の前記矩形マスク、または単色の背景面上に前記所定の単色と異なる色の直交格子パターンから成る格子マスクを配置した画像を前記スクリーン座標系の想定投影画像として生成する想定投影画像生成手段と、
    前記矩形マスク投影パラメータ蓄積手段に蓄積された前記被投影面・スクリーン座標変換パラメータを用いて、前記想定投影画像に対応した前記被投影面座標系の被投影画像を生成する被投影画像生成手段と、
    前記撮像手段で撮像された撮像画像を取り込む画像取り込み手段と、
    前記撮像画像から前記格子マスクを抽出して格子マスク画像を生成する格子マスク抽出手段と、
    前記撮像画像から前記矩形マスクを抽出して矩形マスク画像を生成する矩形マスク抽出手段と、
    前記部分画像を統合画像の貼り合わせ位置に歪みなく貼り合わせるための射影変換パラメータを、前記格子マスクの格子点から求める射影変換パラメータ最小２乗推定手段と、
    前記射影変換パラメータを蓄積する射影変換パラメータ蓄積手段と、
    前記射影変換パラメータ蓄積手段に蓄積されている前記射影変換パラメータに基づいて前記撮像手段で撮像された前記矩形マスクで示された前記部分画像を統合画像へ貼り合わせる画像統合手段と、前記統合画像を画像データとして蓄積する統合画像蓄積手段と、
    を備えることを特徴とする請求項１乃至８記載の画像処理装置。
11. さらに、前記撮像手段を駆動する駆動手段と、
    前記駆動手段を制御する駆動処理手段と、
    を備え、
    前記駆動処理手段は、前記撮像手段が前記画像入力統合処理手段で決定された前記部分画像を撮像するように前記駆動手段を制御する、
    ことを特徴とする請求項１乃至１０記載の画像処理装置。
12. さらに、利用者または他の装置などの外部からの前記駆動手段への指示入力を受け付ける駆動情報入力手段を備え、
    前記駆動処理手段は、前記撮像手段が前記画像入力統合処理手段で決定された前記部分画像を撮像するように、または、前記駆動情報入力手段から前記指示入力に応じて前記駆動手段を制御する、
    ことを特徴とする請求項１１記載の画像処理装置。
13. 前記駆動処理手段は、前記撮像手段がパン、チルト及びズーム動作を行うように前記駆動手段を制御することを特徴とする請求項１１または１２記載の画像処理装置。
14. 前記画像入力統合処理手段は、
    前記入力領域スクリーン座標で表される前記投影面上の領域内にある前記所定の画像の全ての部分画像が前記撮像手段によって撮像可能なように、前記部分画像に対応する矩形マスクの位置移動について、前記矩形マスクのサイズ、スキャン順序、スキャン刻み、移動領域横方向・縦方向最大値、移動領域横方向・縦方向最小値を計算する矩形マスクスキャン方策計算手段と、
    前記部分画像の撮像のために配置される矩形マスクの位置を計算する矩形マスク投影位置計算手段と、
    前記矩形マスクの位置に基づいて所定の単色の背景面上に前記所定の単色と異なる色の前記矩形マスクを配置した前記投影面上に投影される画像と同一でありかつ前記スクリーン座標系の想定投影画像を生成する想定投影画像生成手段と、
    前記矩形マスク投影パラメータ蓄積手段に蓄積された前記被投影面・スクリーン座標変換パラメータを用いて、前記想定投影画像に対応した前記被投影面座標系の被投影画像を生成する被投影画像生成手段と、
    前記撮像手段で撮像された撮像画像を取り込む画像取り込み手段と、
    前記撮像画像から前記矩形マスクを抽出して矩形マスク画像を生成する矩形マスク抽出手段と、
    前記部分画像を統合画像の貼り合わせ位置に歪みなく貼り合わせるための射影変換パラメータを求める射影変換パラメータ推定手段と、
    前記射影変換パラメータに基づいて前記撮像手段で撮像された前記部分画像の統合画像への貼り合わせを行う画像統合手段と、
    前記統合画像を画像データとして蓄積する統合画像蓄積手段と、
    を備え、
    前記駆動処理手段は、
    前記駆動手段を制御する駆動制御手段と、
    前記投影手段と前記撮像手段の同期制御を行うための制御情報を格納する制御情報蓄積手段と、
    前記矩形マスク画像から前記矩形マスクの前記所定の画像中での位置を判定し、前記撮像手段のパン・チルト回転を前記駆動制御手段に指示するか、しないかを決定する撮像マスク位置判定手段と、
    前記矩形マスク画像から前記撮像手段のパン・チルト量を推定するパン・チルト量推定手段と、
    前記矩形マスク画像から前記矩形マスクの占める領域の画素数をカウントして前記撮像手段のズーム制御を前記駆動制御手段に指示するか、しないかを決定する撮像マスクサイズ判定手段と、
    前記矩形マスク画像から前記撮像手段のズーム量を推定するズーム量推定手段と、
    前記制御情報蓄積手段に格納された前記制御情報を参照して、前記撮像手段を移動さるせか、または移動を停止させ、その位置で撮像した画像を用いて貼り合わせ統合を行うかどうかを判定する撮像モード判定手段と、
    を備える、
    ことを特徴とする請求項１１乃至１３記載の画像処理装置。
15. 前記画像入力統合処理手段は、
    前記入力領域スクリーン座標で表される前記投影面上の領域内にある前記所定の画像の全ての部分画像が前記撮像手段によって撮像可能なように、前記部分画像に対応する矩形マスクの位置移動について、前記矩形マスクのサイズ、スキャン順序、スキャン刻み、移動領域横方向・縦方向最大値、移動領域横方向・縦方向最小値を計算する矩形マスクスキャン方策計算手段と、
    前記部分画像の撮像のために配置される格子マスク及び矩形マスクの位置を計算する矩形マスク投影位置計算手段と、
    前記矩形マスクの位置に基づいて所定の単色の背景面上に前記所定の単色と異なる色の前記矩形マスク、または単色の背景面上に前記所定の単色と異なる色の直交格子パターンから成る格子マスクを配置した画像を前記スクリーン座標系の想定投影画像として生成する想定投影画像生成手段と、
    前記矩形マスク投影パラメータ蓄積手段に蓄積された前記被投影面・スクリーン座標変換パラメータを用いて、前記想定投影画像に対応した前記被投影面座標系の被投影画像を生成する被投影画像生成手段と、
    前記撮像手段で撮像された撮像画像を取り込む画像取り込み手段と、
    前記撮像画像から前記格子マスクを抽出して格子マスク画像を生成する格子マスク抽出手段と、
    前記撮像画像から前記矩形マスクを抽出して矩形マスク画像を生成する矩形マスク抽出手段と、
    前記部分画像を統合画像の貼り合わせ位置に歪みなく貼り合わせるための射影変換パラメータを、前記格子マスクの格子点から求める射影変換パラメータ最小２乗推定手段と、
    前記射影変換パラメータを蓄積する射影変換パラメータ蓄積手段と、
    前記射影変換パラメータ蓄積手段に蓄積されている前記射影変換パラメータに基づいて前記撮像手段で撮像された前記矩形マスクで示された前記部分画像を統合画像へ貼り合わせる画像統合手段と、
    前記統合画像を画像データとして蓄積する統合画像蓄積手段と、
    を備え、
    前記駆動処理手段は、
    前記駆動手段を制御する駆動制御手段と、
    前記投影手段と前記撮像手段の同期制御を行うための制御情報を格納する制御情報蓄積手段と、
    前記格子マスク画像から前記格子マスクの前記所定の画像中での位置を判定し、前記撮像手段のパン・チルト回転を前記駆動制御手段に指示するか、しないかを決定する撮像マスク位置判定手段と、
    前記格子マスク画像から前記撮像手段のパン・チルト量を推定するパン・チルト量推定手段と、
    前記格子マスク画像から前記格子マスクの占める領域の画素数をカウントして前記撮像手段のズーム制御を前記駆動制御手段に指示するか、しないかを決定する撮像マスクサイズ判定手段と、
    前記格子マスク画像から前記撮像手段のズーム量を推定するズーム量推定手段と、
    前記制御情報蓄積手段に格納された前記制御情報を参照して、前記撮像手段を移動さるせか、または移動を停止させ、その位置で撮像した画像を用いて貼り合わせ統合を行うかどうかを判定する撮像モード判定手段と、
    を備える、
    ことを特徴とする請求項１１乃至１３記載の画像処理装置。
16. 投影面にある所定の画像を分割して部分画像として撮像し、撮像した前記部分画像を統合して前記所定の画像の画像データを生成する画像処理方法であって、
    前記投影面上の前記所定の画像を含む投光領域を撮像し、
    撮像した画像をディジタル画像として取り込んで格納し、
    前記所定の画像の４以上の頂点を撮像面座標値として抽出し、
    前記撮像面座標値に基づいて撮像面座標系とスクリーン座標系間の撮像面・スクリーン座標変換パラメータを推定し、
    前記ディジタル画像から前記投光領域の４以上の頂点を抽出して当該投光領域の撮像面座標値を求め、
    前記投光領域の撮像面座標を前記撮像面・スクリーン座標変換パラメータによって前記投光領域のスクリーン座標値に変換し、
    前記投光領域のスクリーン座標値に基づいて、前記スクリーン座標系と被投影面座標系との間のスクリーン・被投影面座標変換パラメータを推定し、
    前記所定の画像の４以上の頂点を撮像面座標値を前記撮像面・スクリーン座標変換パラメータを用いてスクリーン座標値に変換し、
    前記所定の画像の部分画像を決定する矩形マスクのスキャンパラメータを計算し、
    前記スクリーン座標値及び前記スキャンパラメータに基づいて、撮像する部分画像の位置合わせを行い、
    前記部分画像を撮像し、
    前記部分画像を統合画像の貼り合わせ位置に歪みなく貼り合わせるための射影変換パラメータを求め、前記射影変換パラメータに基づいて前記部分画像の統合画像への貼り合わせを行う、
    ことを特徴とする画像処理方法。
17. 前記部分画像の位置合わせを行うステップは、
    投影する前記矩形マスクの位置を設定し、
    投影された前記矩形マスクが撮像できるように前記矩形マスクの位置決めを行う、
    ことを特徴とする請求項１６記載の画像処理方法。
18. 前記部分画像の位置合わせを行うステップから前記統合するステップは、全ての部分画像について撮像及び統合処理が完了するまで繰り返されることを特徴とする請求項１６または１７記載の画像処理方法。
19. 前記矩形マスクのスキャンパラメータは、前記矩形マスクのサイズ、スキャン順序、スキャン刻み、横方向及び縦方向最大値、横方向及び縦方向最小値であることを特徴とする請求項１６乃至１８記載の画像処理方法。
20. 前記部分画像の位置合わせを行うステップは、
    前記スキャンパラメータに基づいて、前記矩形マスクの位置を計算し、
    前記撮影面の背景色と異なる色の矩形マスクを配置した想定投影画像を生成し、
    前記想定投影画像を前記スクリーン・被投影画像座標変換パラメータによって変換して被投影画像を生成し、
    前記被投影画像の投影を行い、
    前記矩形マスクを含む前記被投影画像を撮像画像として取り込み、
    前記撮像画像に対して領域分割の処理を行って前記矩形マスクの領域を前記撮像画像から抽出して矩形マスク抽出画像を生成し、
    前記矩形マスク抽出画像が撮像できるように前記矩形マスクの位置決めを行う、
    ことを特徴とする請求項１９記載の画像処理方法。
21. 前記統合するステップは、
    前記矩形マスク抽出画像から前記矩形マスクの４つの頂点の撮像面座標を抽出し、
    前記矩形マスクの４つの頂点の撮像面座標と前記統合画像の座標とから撮像面・統合画像座標変換パラメータを求め、
    前記矩形マスク抽出画像中の矩形マスク領域を前記撮像面・統合画像座標変換パラメータによって変換して、統合画像座標値を求め、
    前記統合画像座標値に基づいて、既に蓄積されている統合画像に前記撮像画像の貼り合わせ合成を行う、
    ことを特徴とする請求項２０記載の画像処理方法。

Images