JP4374468B2 - 画像処理装置及び画像処理方法 - Google Patents
画像処理装置及び画像処理方法 Download PDFInfo
- Publication number
- JP4374468B2 JP4374468B2 JP02744899A JP2744899A JP4374468B2 JP 4374468 B2 JP4374468 B2 JP 4374468B2 JP 02744899 A JP02744899 A JP 02744899A JP 2744899 A JP2744899 A JP 2744899A JP 4374468 B2 JP4374468 B2 JP 4374468B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- projection
- imaging
- unit
- rectangular mask
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000012545 processing Methods 0.000 title claims description 321
- 238000003672 processing method Methods 0.000 title claims description 18
- 238000003384 imaging method Methods 0.000 claims description 579
- 238000006243 chemical reaction Methods 0.000 claims description 182
- 230000010354 integration Effects 0.000 claims description 152
- 238000000605 extraction Methods 0.000 claims description 99
- 230000009466 transformation Effects 0.000 claims description 99
- 238000000034 method Methods 0.000 claims description 68
- 230000001360 synchronised effect Effects 0.000 claims description 6
- 238000009825 accumulation Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 36
- 239000000284 extract Substances 0.000 description 23
- 230000003287 optical effect Effects 0.000 description 19
- 239000004973 liquid crystal related substance Substances 0.000 description 9
- 239000011159 matrix material Substances 0.000 description 9
- 238000005286 illumination Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000010422 painting Methods 0.000 description 2
- 238000004091 panning Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004587 chromatography analysis Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Transforming Electric Information Into Light Information (AREA)
- Video Image Reproduction Devices For Color Tv Systems (AREA)
- Editing Of Facsimile Originals (AREA)
Description
【発明の属する技術分野】
本発明は、複数枚の部分画像を入力し、貼り合わせて一枚の画像に統合を行う画像処理装置及び画像処理方法に関する。特には、液晶プロジェクタ等から成る投影部によって入力対象面に対して矩形マスクを用いて統合される部分画像の位置指定を行い、その矩形マスクをスキャンさせながら撮像部で部分画像として撮像し、その既知の矩形マスク位置に基づき歪みなく画像を貼り合わせ合成することができる画像処理装置及び画像処理方法に関する。
【0002】
【従来の技術】
近年、スキャナなどからでなくCCD(Charge Coupled Device)カメラのような撮像装置で撮影した複数枚の画像を貼り合わせ、一枚の画像を高精細画像として生成する画像合成方法などの画像処理に関する研究開発が盛んに行われている。
【0003】
画像合成を用いた従来の高精細静止画入力装置においては、入力対象となる画平面の法線ベクトルと撮像部の光軸が平行になるように、該撮像部が配置されている。この従来の高精細静止画入力装置において、画平面の法線ベクトルと撮像部の光軸の平行関係を保ちながら撮像部を画平面と平行な方向に移動させて撮影を行う。そして、撮影した部分画像を貼り合わせて一枚の合成画像を生成していた。以下、従来の画像処理装置について説明する。
【0004】
図28は、従来の画像処理装置の構成図である。図28において、従来の画像処理装置は、絵画等の入力対象面2810の部分画像を撮像する撮像部2801と、撮像部2801を横方向に移動する横方向駆動部2802と、撮像部2801を縦方向に移動する一対の縦方向駆動部2803a、2803bと、入力開始時の撮像部2801の位置(xb,yb)、撮像部2801のx方向最大移動量xmax、撮像部2801のy方向最大移動量ymax、及び撮像部2801の移動のステップ幅(xs,ys)を入力する制御指示入力部2804と、制御指示入力部2804から入力された指示に基づいて、次の撮像点での撮像部2801の位置(xc,yc)を計算して出力する撮像部位置計算部2805と、撮像部位置計算部2805からの出力である撮像部位置(xc,yc)で示される位置に撮像部2801を移動させるように横方向駆動部2802及び縦方向駆動部2803a、2803bに制御信号を出力し、移動終了を検知すると移動完了信号を出力する駆動制御部2806と、駆動制御部2806からの移動完了信号を受け、撮像部2801に撮像指示を出す撮像制御部2807と、入力対象面2810に示めされた画像全体を格納することができるサイズのメモリ領域(統合画像メモリ)を有する統合画像蓄積部2809と、撮像部位置(xc,yc)に基づいて統合画像蓄積部2809内に確保された統合画像メモリ上での対応する位置(ixc,iyc)を計算し、その統合画像メモリ上の(ixc,iyc)の位置に撮像部2801で撮像された撮像画像の統合を行う画像統合部2808と、を備えている。
【0005】
ここで、横方向駆動部2802及び縦方向駆動部2803a、2803bは、駆動制御部2806からの出力である制御信号を受けて移動するステップモータ等から成る。
【0006】
また、撮像部2801は、光軸を入力対象面2810に垂直に保った状態で横方向駆動部2802と縦方向駆動部2803a、2803bによって移動され、入力対象面2810の部分画像を撮影する。ここで、撮像部2801が移動する平面を、直交するx軸、y軸によってxy平面と定義する。このとき、図28においては、横方向をx方向(矢印x)、縦方向をy方向(矢印y)とする。
【0007】
図29は、撮像部2801の撮像座標系を示す図である。図29に示すように、例えば、その座標系が横駆動方向と縦駆動方向が直交している場合、横駆動方向にx軸2901、縦駆動方向にy軸2902を設定することで、撮像部2801が移動する平面を定義することができる。なお、この座標系の設定によって、撮像部2801の位置は、(x,y)座標値で特定することができる。
【0008】
次に、上述した従来の画像処理装置の動作について図30と図31を参照しながら説明する。
【0009】
図30は、従来の画像処理装置の動作を示すフローチャートである。また、図31は、入力対象面2810を示す図である。図30において、まず利用者が制御指示入力部2804から制御指示情報を入力する(ステップ3002)。
【0010】
例えば、この制御指示情報は、図31に示すように、撮像を開始する開始座標(xb,yb)、移動の刻みを示す移動座標(xs,ys)、及び移動量の最大値(xmax,ymax)によって表される。ここで、図31において、撮像領域3101は、撮像部2801が1回の撮像で撮像できる領域である。
【0011】
次に撮像部位置計算部2805において、撮像部位置(xc,yc)を以下に示した(数1)のように設定し出力する(ステップ3003)。
(数1)
xc=xb
yc=yb
【0012】
次に駆動制御部2806は、上記の撮像部位置(xc,yc)の位置に撮像部28010が移動するように、横方向駆動部2802及び縦方向駆動部2803a、2803bに制御信号を出す。横方向駆動部2802及び縦方向駆動部2803a、2803bは、その制御信号に基づいて撮像部2801を移動させる(ステップ3004)。そして、この移動の終了を駆動制御部2806が検知して移動完了信号を出力する。
【0013】
次に、上記の移動完了信号を受けた撮像制御部2807は、撮像部2801に対して撮像指示を行う。撮像部2801は、撮像制御部2807からの指示に従って撮像を行い(ステップ3005)、撮像画像を出力する。
【0014】
次に、画像統合部2808は、撮像部位置計算部2805の出力する撮像部位置(xc,yc)に基づいて統合画像蓄積部2809に確保された統合画像メモリ上の対応する位置(ixc,iyc)を計算し、その統合画像メモリ上の座標(ixc,iyc)の位置に撮像画像の統合を行う(ステップ3006)。そして、画像の統合処理が終了したら、統合完了信号を出力する。
【0015】
次に、統合完了信号を受けた撮像部位置計算部2805は、値「xc」と「xmax」の大きさの比較を行う(ステップ3007)。
【0016】
ステップ3007で、「xc」が「xmax」より小さければ、次の撮像を行う撮像部2801の位置を以下に示す(数2)のように計算し、ステップ3004からの処理を繰り返す(ステップ3008)。
(数2)
xc=xc+xs
yc=yc
【0017】
一方、ステップ3007で、「xc」が「xmax」以上であれば、続いてycとymaxの大きさの比較を行う(ステップ3009)。ここで、「yc」が「ymax」より小さければ、以下の(数3)に示すように、縦方向(y軸方向)へ撮像部2801を移動し、かつ横方向を初期値「xb」にリセットする(ステップ3010)。そして、ステップ3004からの処理を繰り返す。
(数3)
xc=xc
yc=yc+ys
【0018】
また、ステップ3009で、「yc」が「ymax」以上であれば、処理を終了する。
【0019】
以上のようにして、従来の画像処理装置においては、撮像部2801で撮像可能な撮像領域3101の部分画像を貼り合わせて統合することにより、高精細な入力対象面2810の画像入力処理を行うことができる。
【0020】
【発明が解決しようとする課題】
しかしながら、図28に示すような従来の画像処理装置によれば、撮像部2801の光軸を入力対象面と垂直な状態に保持して撮像を行う必要があるため、入力対象面と同等の大きさの撮像部2801の移動が必要となり、画像処理装置全体が大型化してしまうという問題があった。
【0021】
また、撮像部2801の光軸と入力対象面2810との位置関係を保持することによって統合画像の画像品質を一定に保つことができるため、横方向駆動部2802及び縦方向駆動部2803a、2803bが取り付けられている部分と、入力対象面2810を保持する部分との間の位置関係の誤差によって統合画像の品質が低下するという問題があった。
【0022】
また、機械的に撮像部2801位置を決め、その撮像部2801の駆動情報に基づいて統合画像の生成を行うため、撮像部2801を駆動する駆動系の誤差によって統合画像の品質が低下するという問題があった。
【0023】
したがって、本発明の目的は、上記問題点を解決するもので、装置の小型化が可能で、構造部や駆動部の精度に係わりなく統合画像の画質を高く保つことができる画像処理装置及び画像処理方法を提供することである。
【0024】
【課題を解決するための手段】
上記目的を達成するため、本発明の画像処理装置は、 投影面にある所定の画像を分割して部分画像として撮像し、撮像した部分画像を統合して所定の画像の画像データを生成する画像処理装置であって、 キャリブレーション処理に用いる画像及び所定の画像の部分画像を撮像する撮像手段と、 キャリブレーション処理のための投影及び部分画像の位置指定を行う投影手段と、 投影手段の被投影面に定義される被投影面座標系と投影面に定義されるスクリーン座標系との間の座標変換パラメータを算出し、当該座標変換パラメータに基づいて撮像手段で撮像される所定の画像の投影面での領域を示す入力領域スクリーン座標を算出するキャリブレーション処理を行うキャリブレーション処理手段と、 撮像手段で撮像された所定の画像の部分画像を受け取り、該部分画像の統合処理を行って所定の画像の画像データを生成する画像入力統合処理手段と、を備え、 画像入力統合処理手段は、キャリブレーション処理手段で算出された入力領域スクリーン座標に基づいて所定の画像から分割される前記部分画像を決定し、 撮像手段は、画像入力統合処理手段で決定された部分画像を撮像する、ことを特徴とする。
【0025】
ここで、キャリブレーション処理手段または画像入力統合処理手段の何れかの手段を動作可能にするモード入力手段を有するようにしてもよい。また、キャリブレーション処理手段で算出された座標変換パラメータと入力領域スクリーン座標を格納する矩形マスク投影パラメータ蓄積手段を備え、画像入力統合処理手段は、矩形マスク投影パラメータ蓄積手段に格納されている入力領域スクリーン座標に基づいて所定の画像から分割される部分画像を決定する、ようにしてもよい。また、撮像手段で撮像されている画像を表示するモニタ手段を備えることもできる。さらに、撮像手段をCCDカメラにするとよい。
【0026】
また、キャリブレーション処理手段は、撮像手段で撮像された撮像画像を取り込む画像取り込み手段と、 画像取り込み手段で取り込んだ撮像画像を格納する画像メモリと、 画像メモリに格納された撮像画像から入力対象面の頂点の位置を抽出し、抽出された位置に基づいて撮像手段の撮像平面に定義される撮像面座標系における頂点の撮像面座標値を算出する入力対象面頂点抽出手段と、 入力対象面頂点抽出手段で算出された入力対象面の頂点の撮像面座標値と、投影面に定義されるスクリーン座標系における予め準備された入力対象面の頂点のスクリーン座標値とに基づいて、撮像面・スクリーン座標間変換パラメータを推定する撮像面・スクリーン座標変換パラメータ推定手段と、 撮像面・スクリーン座標変換パラメータと入力対象面の頂点の撮像面座標値を格納するメモリと、 画像メモリに格納された撮像画像から投影手段で投影された投影光の頂点の撮像面座標値を抽出し、メモリに格納された撮像面・スクリーン座標変換パラメータによって投影光の頂点の撮像面座標値をスクリーン座標値に変換する投影光頂点抽出手段と、 投影光頂点抽出手段で変換された投影光の頂点のスクリーン座標値と、投影手段の被投影面に定義される被投影面座標系における予め準備された被投影面の有効投影範囲の被投影面座標値とからスクリーン・被投影面座標変換パラメータを推定し、当該スクリーン・被投影面座標変換パラメータを矩形マスク投影パラメータ蓄積手段に出力するスクリーン・被投影面座標変換パラメータ推定手段と、 メモリに格納された撮像面・スクリーン変換パラメータによって入力領域スクリーン座標を計算し、矩形マスク投影パラメータ蓄積手段に出力する入力範囲計算手段と、を有するようにするとよい。
【0027】
本発明の画像処理装置においては、撮像部光軸と入力対象面を垂直な状態に保持しなくとも部分画像の撮像・入力が可能となり、装置の小型化が実現できる。
【0028】
また、撮像部の撮像画像から画像処理によりキャリブレーション情報を抽出する構造になっているため、統合画像生成のための変換パラメータ推定精度が向上し、品質の高い統合画像を生成できる。
【0029】
また、投影面は、それぞれの相対位置関係が既知の4点以上のドットなどの点または格子点からなるスクリーン基準点が配置されたスクリーン基準パターンを有し、 キャリブレーション処理手段は、 撮像手段で撮像された撮像画像を取り込む画像取り込み手段と、 画像取り込み手段で取り込んだ撮像画像を格納する画像メモリと、 画像メモリに格納された撮像画像からスクリーン基準パターン上のスクリーン基準点位置を抽出し、撮像面座標系におけるスクリーン基準点の座標値を出力するスクリーン基準点抽出手段と、 スクリーン基準パターン上のスクリーン基準点の座標値と、投影面に定義されるスクリーン座標系における予め準備された入力対象面の頂点のスクリーン座標値とに基づいて、撮像面・スクリーン座標間変換パラメータを最小2乗推定する撮像面・スクリーン座標変換パラメータ推定手段と、 画像メモリに格納された撮像画像から入力対象面の頂点の位置を抽出し、抽出された位置に基づいて撮像手段の撮像平面に定義される撮像面座標系における頂点の撮像面座標値を算出する入力対象面頂点抽出手段と、 撮像面・スクリーン座標変換パラメータと入力対象面の頂点の撮像面座標値を格納するメモリと、 画像メモリに格納された撮像画像から投影手段で投影された投影光の頂点の撮像面座標値を抽出し、メモリに格納された撮像面・スクリーン座標変換パラメータによって投影光の頂点の撮像面座標値をスクリーン座標値に変換する投影光頂点抽出手段と、 投影光頂点抽出手段で変換された投影光の頂点のスクリーン座標値と、投影手段の被投影面に定義される被投影面座標系における予め準備された被投影面の有効投影範囲の被投影面座標値とからスクリーン・被投影面座標変換パラメータを推定し、当該スクリーン・被投影面座標変換パラメータを矩形マスク投影パラメータ蓄積手段に出力するスクリーン・被投影面座標変換パラメータ推定手段と、 メモリに格納された撮像面・スクリーン変換パラメータによって入力領域スクリーン座標を計算し、矩形マスク投影パラメータ蓄積手段に出力する入力範囲計算手段と、を有するようにしてもよい。
【0030】
これによってキャリブレーション処理の際にスクリーン基準パターンを用いることになり、最小2乗法により撮像面・スクリーン座標変換パラメータの推定精度を向上させ、統合画像の歪みの大幅な低減が可能となる。
【0031】
また、キャリブレーション処理手段は、所定の投影基準点を有し投影手段によってキャリブレーション用に投影される投影基準画像の生成を行う投影基準画像生成手段と、 撮像手段で撮像した撮像画像を取り込む画像取り込み手段と、 画像取り込み手段で取り込んだ撮像画像を格納する画像メモリと、 画像メモリに格納された撮像画像から入力対象面の頂点の位置を抽出し、抽出された位置に基づいて撮像手段の撮像平面に定義される撮像面座標系における頂点の撮像面座標値を算出する入力対象面頂点抽出手段と、 入力対象面頂点抽出手段で算出された入力対象面の頂点の撮像面座標値と、投影面に定義されるスクリーン座標系における予め準備された入力対象面の頂点のスクリーン座標値とに基づいて、撮像面・スクリーン座標間変換パラメータを推定する撮像面・スクリーン座標変換パラメータ推定手段と、 撮像面・スクリーン座標変換パラメータと入力対象面の頂点の撮像面座標値を格納するメモリと、 画像メモリに格納された撮像画像から被投影面座標値が既知の投影基準点の撮像面座標値を抽出し、メモリに格納された撮像面・スクリーン座標変換パラメータによって、投影基準点の撮像面座標値をスクリーン座標値に変換して出力する投影基準点抽出手段と、 投影基準点のスクリーン座標値と既知の被投影面座標値に基づいてスクリーン・被投影面座標変換パラメータを推定し、矩形マスク投影パラメータ蓄積手段に出力するスクリーン・被投影面座標変換パラメータ最小2乗推定手段と、 メモリに格納された撮像面・スクリーン変換パラメータによって入力領域スクリーン座標を計算し、矩形マスク投影パラメータ蓄積手段に出力する入力範囲計算手段と、を有するようにしてもよい。
【0032】
これによって、キャリブレーション処理の際に投影基準画像を用いることになり、最小2乗法によりスクリーン・被投影面座標変換パラメータの推定精度を向上させ、統合画像の歪みの大幅な低減が可能となる。
【0033】
また、さらに、画像入力統合処理手段は、入力領域スクリーン座標で表される投影面上の領域内にある所定の画像の全ての部分画像が撮像手段によって撮像可能なように、部分画像に対応する矩形マスクの位置移動について、矩形マスクのサイズ、スキャン順序、スキャン刻み、移動領域横方向・縦方向最大値、移動領域横方向・縦方向最小値を計算する矩形マスクスキャン方策計算手段と、 部分画像の撮像のために配置される矩形マスクの位置を計算する矩形マスク投影位置計算手段と、 矩形マスクの位置に基づいて所定の単色の背景面上に所定の単色と異なる色の矩形マスクを配置した投影面上に投影される画像と同一でありかつスクリーン座標系の想定投影画像を生成する想定投影画像生成手段と、 矩形マスク投影パラメータ蓄積手段に蓄積された被投影面・スクリーン座標変換パラメータを用いて、想定投影画像に対応した被投影面座標系の被投影画像を生成する被投影画像生成手段と、 撮像手段で撮像された撮像画像を取り込む画像取り込み手段と、 撮像画像から矩形マスクを抽出して矩形マスク画像を生成する矩形マスク抽出手段と、 部分画像を統合画像の貼り合わせ位置に歪みなく貼り合わせるための射影変換パラメータを求める射影変換パラメータ推定手段と、 射影変換パラメータに基づいて撮像手段で撮像された部分画像の統合画像への貼り合わせを行う画像統合手段と、 統合画像を画像データとして蓄積する統合画像蓄積手段と、を備えることを特徴とする。
【0034】
また、画像入力統合処理手段は、入力領域スクリーン座標で表される投影面上の領域内にある所定の画像の全ての部分画像が前記撮像手段によって撮像可能なように、部分画像に対応する矩形マスクの位置移動について、矩形マスクのサイズ、スキャン順序、スキャン刻み、移動領域横方向・縦方向最大値、移動領域横方向・縦方向最小値を計算する矩形マスクスキャン方策計算手段と、 部分画像の撮像のために配置される格子マスク及び矩形マスクの位置を計算する矩形マスク投影位置計算手段と、 矩形マスクの位置に基づいて所定の単色の背景面上に所定の単色と異なる色の矩形マスク、または単色の背景面上に所定の単色と異なる色の直交格子パターンから成る格子マスクを配置した画像をスクリーン座標系の想定投影画像として生成する想定投影画像生成手段と、 矩形マスク投影パラメータ蓄積手段に蓄積された被投影面・スクリーン座標変換パラメータを用いて、想定投影画像に対応した被投影面座標系の被投影画像を生成する被投影画像生成手段と、 撮像手段で撮像された撮像画像を取り込む画像取り込み手段と、
撮像画像から格子マスクを抽出して格子マスク画像を生成する格子マスク抽出手段と、 撮像画像から矩形マスクを抽出して矩形マスク画像を生成する矩形マスク抽出手段と、 部分画像を統合画像の貼り合わせ位置に歪みなく貼り合わせるための射影変換パラメータを、格子マスクの格子点から求める射影変換パラメータ最小2乗推定手段と、 射影変換パラメータを蓄積する射影変換パラメータ蓄積手段と、 射影変換パラメータ蓄積手段に蓄積されている射影変換パラメータに基づいて撮像手段で撮像された矩形マスクで示された部分画像を統合画像へ貼り合わせる画像統合手段と、 統合画像を画像データとして蓄積する統合画像蓄積手段と、を備えるようにするとよい。
【0035】
また、さらに、撮像手段を駆動する駆動手段と、 駆動手段を制御する駆動処理手段と、を備え、 駆動処理手段は、撮像手段が画像入力統合処理手段で決定された部分画像を撮像するように駆動手段を制御する、ようにしてもよい。 このとき、利用者または他の装置などの外部からの駆動手段への指示入力を受け付ける駆動情報入力手段を備え、駆動処理手段は、撮像手段が前記画像入力統合処理手段で決定された部分画像を撮像するように、または、駆動情報入力手段から指示入力に応じて駆動手段を制御する、ようにすることができる。 さらに、駆動処理手段は、撮像手段がパン、チルト及びズーム動作を行うように駆動手段を制御することもできる。
【0036】
また、画像入力統合処理手段は、入力領域スクリーン座標で表される投影面上の領域内にある所定の画像の全ての部分画像が撮像手段によって撮像可能なように、部分画像に対応する矩形マスクの位置移動について、矩形マスクのサイズ、スキャン順序、スキャン刻み、移動領域横方向・縦方向最大値、移動領域横方向・縦方向最小値を計算する矩形マスクスキャン方策計算手段と、 部分画像の撮像のために配置される矩形マスクの位置を計算する矩形マスク投影位置計算手段と、 矩形マスクの位置に基づいて所定の単色の背景面上に所定の単色と異なる色の矩形マスクを配置した投影面上に投影される画像と同一でありかつスクリーン座標系の想定投影画像を生成する想定投影画像生成手段と、 矩形マスク投影パラメータ蓄積手段に蓄積された被投影面・スクリーン座標変換パラメータを用いて、想定投影画像に対応した被投影面座標系の被投影画像を生成する被投影画像生成手段と、 撮像手段で撮像された撮像画像を取り込む画像取り込み手段と、 撮像画像から矩形マスクを抽出して矩形マスク画像を生成する矩形マスク抽出手段と、 部分画像を統合画像の貼り合わせ位置に歪みなく貼り合わせるための射影変換パラメータを求める射影変換パラメータ推定手段と、 射影変換パラメータに基づいて撮像手段で撮像された部分画像の統合画像への貼り合わせを行う画像統合手段と、 統合画像を画像データとして蓄積する統合画像蓄積手段と、を備え、 駆動処理手段は、駆動手段を制御する駆動制御手段と、 投影手段と撮像手段の同期制御を行うための制御情報を格納する制御情報蓄積手段と、 矩形マスク画像から矩形マスクの所定の画像中での位置を判定し、撮像手段のパン・チルト回転を駆動制御手段に指示するか、しないかを決定する撮像マスク位置判定手段と、 矩形マスク画像から撮像手段のパン・チルト量を推定するパン・チルト量推定手段と、 矩形マスク画像から矩形マスクの占める領域の画素数をカウントして撮像手段のズーム制御を駆動制御手段に指示するか、しないかを決定する撮像マスクサイズ判定手段と、 矩形マスク画像から撮像手段のズーム量を推定するズーム量推定手段と、 制御情報蓄積手段に格納された制御情報を参照して、撮像手段を移動さるせか、または移動を停止させ、その位置で撮像した画像を用いて貼り合わせ統合を行うかどうかを判定する撮像モード判定手段と、を備える、ようにしてもよい。
【0037】
また、画像入力統合処理手段は、入力領域スクリーン座標で表される投影面上の領域内にある所定の画像の全ての部分画像が撮像手段によって撮像可能なように、部分画像に対応する矩形マスクの位置移動について、矩形マスクのサイズ、スキャン順序、スキャン刻み、移動領域横方向・縦方向最大値、移動領域横方向・縦方向最小値を計算する矩形マスクスキャン方策計算手段と、 部分画像の撮像のために配置される格子マスク及び矩形マスクの位置を計算する矩形マスク投影位置計算手段と、 矩形マスクの位置に基づいて所定の単色の背景面上に所定の単色と異なる色の矩形マスク、または単色の背景面上に所定の単色と異なる色の直交格子パターンから成る格子マスクを配置した画像を前記スクリーン座標系の想定投影画像として生成する想定投影画像生成手段と、 矩形マスク投影パラメータ蓄積手段に蓄積された被投影面・スクリーン座標変換パラメータを用いて、想定投影画像に対応した被投影面座標系の被投影画像を生成する被投影画像生成手段と、 撮像手段で撮像された撮像画像を取り込む画像取り込み手段と、 撮像画像から格子マスクを抽出して格子マスク画像を生成する格子マスク抽出手段と、 撮像画像から矩形マスクを抽出して矩形マスク画像を生成する矩形マスク抽出手段と、 部分画像を統合画像の貼り合わせ位置に歪みなく貼り合わせるための射影変換パラメータを、格子マスクの格子点から求める射影変換パラメータ最小2乗推定手段と、 射影変換パラメータを蓄積する射影変換パラメータ蓄積手段と、 射影変換パラメータ蓄積手段に蓄積されている射影変換パラメータに基づいて撮像手段で撮像された矩形マスクで示された部分画像を統合画像へ貼り合わせる画像統合手段と、 統合画像を画像データとして蓄積する統合画像蓄積手段と、を備え、 駆動処理手段は、駆動手段を制御する駆動制御手段と、 投影手段と撮像手段の同期制御を行うための制御情報を格納する制御情報蓄積手段と、 格子マスク画像から格子マスクの所定の画像中での位置を判定し、撮像手段のパン・チルト回転を駆動制御手段に指示するか、しないかを決定する撮像マスク位置判定手段と、 格子マスク画像から撮像手段のパン・チルト量を推定するパン・チルト量推定手段と、 格子マスク画像から格子マスクの占める領域の画素数をカウントして撮像手段のズーム制御を駆動制御手段に指示するか、しないかを決定する撮像マスクサイズ判定手段と、 格子マスク画像から撮像手段のズーム量を推定するズーム量推定手段と、 制御情報蓄積手段に格納された制御情報を参照して、撮像手段を移動さるせか、または移動を停止させ、その位置で撮像した画像を用いて貼り合わせ統合を行うかどうかを判定する撮像モード判定手段と、を備える、ようにしてもよい。
【0038】
入力対象面の撮像の際に矩形パターンと格子パターンによって、撮像面・統合画像座標変換パラメータを求める際に格子点を用いることができ、最小2乗法により撮像面・統合画像座標変換パラメータの推定精度を向上させ、統合画像の歪みの大幅な低減が可能となる。
【0039】
また、上記目的を達成するため、本発明の画像処理方法は、投影面にある所定の画像を分割して部分画像として撮像し、撮像した部分画像を統合して所定の画像の画像データを生成する画像処理方法であって、 投影面上の所定の画像を含む投光領域を撮像し、 撮像した画像をディジタル画像として取り込んで格納し、 所定の画像の4以上の頂点を撮像面座標値として抽出し、 撮像面座標値に基づいて撮像面座標系とスクリーン座標系間の撮像面・スクリーン座標変換パラメータを推定し、 ディジタル画像から投光領域の4以上の頂点を抽出して当該投光領域の撮像面座標値を求め、 投光領域の撮像面座標を撮像面・スクリーン座標変換パラメータによって投光領域のスクリーン座標値に変換し、 投光領域のスクリーン座標値に基づいて、スクリーン座標系と被投影面座標系との間のスクリーン・被投影面座標変換パラメータを推定し、 所定の画像の4以上の頂点を撮像面座標値を撮像面・スクリーン座標変換パラメータを用いてスクリーン座標値に変換し、 所定の画像の部分画像を決定する矩形マスクのスキャンパラメータを計算し、 スクリーン座標値及びスキャンパラメータに基づいて、撮像する部分画像の位置合わせを行い、 部分画像を撮像し、 撮像された部分画像を統合画像に貼り合わせ統合する、ことを特徴とする。
【0040】
ここで、部分画像の位置合わせを行うステップは、投影する矩形マスクの位置を設定し、投影された矩形マスクが撮像できるように矩形マスクの位置決めを行う、ようにするとよいう。 また、部分画像の位置合わせを行うステップから統合するステップは、全ての部分画像について撮像及び統合処理が完了するまで繰り返されるようにするとよい。 ここで、矩形マスクのスキャンパラメータは、矩形マスクのサイズ、スキャン順序、スキャン刻み、横方向及び縦方向最大値、横方向及び縦方向最小値にすることができる。
【0041】
また、部分画像の位置合わせを行うステップは、 スキャンパラメータに基づいて、矩形マスクの位置を計算し、 撮影面の背景色と異なる色の矩形マスクを配置した想定投影画像を生成し、 想定投影画像を前記スクリーン・被投影画像座標変換パラメータによって変換して被投影画像を生成し、 被投影画像の投影を行い、 矩形マスクを含む被投影画像を撮像画像として取り込み、 撮像画像に対して領域分割の処理を行って矩形マスクの領域を撮像画像から抽出して矩形マスク抽出画像を生成し、 矩形マスク抽出画像が撮像できるように矩形マスクの位置決めを行う、ようにすることができる。
【0042】
さらに、統合するステップは、 矩形マスク抽出画像から矩形マスクの4つの頂点の撮像面座標を抽出し、 矩形マスクの4つの頂点の撮像面座標と統合画像の座標とから撮像面・統合画像座標変換パラメータを求め、 矩形マスク抽出画像中の矩形マスク領域を撮像面・統合画像座標変換パラメータによって変換して、統合画像座標値を求め、 統合画像座標値に基づいて、既に蓄積されている統合画像に撮像画像の貼り合わせ合成を行う、ようにするとよい。
【0043】
以上に示すように、本発明の画像処理方法においては、撮像部光軸と入力対象面を垂直な状態に保持しなくとも部分画像の撮像・入力が可能となる。
【0044】
また、撮像画像から画像処理によりキャリブレーション情報を抽出する構造になっているため、統合画像生成のための変換パラメータ推定精度が向上し、品質の高い統合画像を生成できる。
【0045】
【発明実施の形態】
<実施の形態1>
以下、本発明の第1の実施の形態について、図面を参照しながら説明する。
【0046】
図1は、本発明の画像処理装置の構成の一例を示す図である。図1において、本発明の画像処理装置は、後述するキャリブレーション処理に用いる画像の撮像及び入力対象面111を分割して入力することによって該入力対象面111の部分画像の撮像を行うCCD(Charge Coupled Device)カメラなどから成る撮像部101と、入力対象面111の部分画像の撮像の際に撮像部101のパン、チルト及びズーム動作を駆動する駆動部102と、入力対象面111の部分画像の撮像の際に撮像される部分の照明及び位置指定を兼ねた投影を行う投影部103と、投影部103の液晶パネルなどから成る被投影面に定義される平面座標系(以下、単に「被投影面座標系」ともいう)とスクリーンなどから成る投影面110に定義される平面座標系(以下、単に「スクリーン座標系」ともいう)の間の座標変換パラメータ及び入力対象となる入力対象面111の存在領域を示す入力領域スクリーン座標を算出する処理(以下、単に「キャリブレーション処理」ともいう)を行うキャリブレーション処理部107と、投影部103、撮像部101及び駆動部102を用いて撮像された入力対象面111の部分画像を統合処理する画像入力統合処理部109と、当該装置の利用者や他の制御装置(図示せず)などの外部からキャリブレーション処理または画像入力統合処理のいずれかの処理を選択する指示信号を受け付けるモード入力部104と、利用者などが駆動部102への指示入力を行う際に撮像部101の撮像範囲を確認するのに用いるモニタ部112と、キャリブレーション処理部107から出力される座標変換パラメータと入力領域スクリーン座標を格納する矩形マスク投影パラメータ蓄積部108と、を備えている。また、入力対象となる入力対象面111(例えば、絵画などの平面画像)は、投影面110に取り付けられている。
【0047】
図2は、各座標系を示す図である。以下、図2を用いて座標系について説明する。図2において、スクリーン座標系201は、投影面110をxy平面とし、矩形の入力対象面111の頂点の1つを原点(図2においては、入力対象面111の右下頂点)とし、その原点を通り、空間的にお互いに直交する3直線をXw軸、Yw軸、Zw軸とする。ここで、図2においては、右下頂点をスクリーン座標系201の原点としているが、この原点は他のどの頂点に設定してもよい。このスクリーン座標系201の定義により、投影面110上に配置された入力対象面111の4頂点及び投影光輪郭四角形208の4頂点の位置関係をスクリーン座標値として定量化できる。ここで、このスクリーン座標系201における単位系は、メートル単位系などの既存の単位系で定義するとよい。
【0048】
また、投影部座標系(Xp,Yp,Zp)202は、投影部103の投影中心を原点とし、投影部103の投影軸方向をz軸方向、液晶パネルなどの被投影面をxy平面とする。ここで、被投影面座標系(xp,yp)203は、XpYp平面に平行な被投影面上に定義される。そして、その原点は、投影部103の投影軸(Zp軸)がこの被投影面に交わる点にある。この被投影面座標系203も実際の液晶パネルサイズに合わせて定義するため、その単位系は、スクリーン座標系201における単位系と同一の単位系となる。
【0049】
また、撮像部座標系204は、撮像部101のレンズ中心を原点とし、撮像部101の光軸方向をz軸方向、CCD素子面をxy平面とする。ここで、撮像面座標系(xc,yc)205は、XcYc平面に平行なCCD素子面上に定義される。そして、その原点は、撮像部101の光軸(Zc軸)とこの撮像面が交わる点にある。この撮像面座標系205も実際のCCDサイズに合わせて定義するため、その単位系は、スクリーン座標系201における単位系と同一の単位系となる。
【0050】
また、図2において、投影部焦点距離(Fp)206及び撮像部焦点距離(Fc)207は、それぞれ投影部103及び撮像部101の焦点距離である。
【0051】
図3は、キャリブレーション処理部107の構成の一例を示す図である。図3においては、図1と同一の構成には、図1と同一の符号を付している。
【0052】
図3において、このキャリブレーション処理部107は、モード入力部104からキャリブレーション処理モードが出力された際に撮像部101の撮像画像の画像取り込みを行う画像取り込み部301と、撮像部101で撮像され画像取り込み部301で取り込んだ画像を格納する画像メモリ302と、画像メモリ302に格納された撮像画像に基づいて入力対象面111の頂点位置の撮像面座標を抽出する入力対象面頂点抽出部303と、入力対象面111の頂点座標(撮像面座標)と入力対象面111の頂点位置のスクリーン座標に基づいて撮像面・スクリーン座標変換パラメータを推定する撮像面・スクリーン座標変換パラメータ推定部304と、入力対象面111の頂点座標(撮像面座標)と撮像面・スクリーン座標変換パラメータを格納するメモリ308と、画像メモリ302に格納された撮像画像から投影部103で投影された投影光の頂点の撮像面座標値を抽出し、メモリ308に格納された撮像面・スクリーン座標変換パラメータに基づいてそれらの撮像面座標をスクリーン座標に変換して出力する投影光頂点抽出部305と、投影光頂点座標(スクリーン座標系201(図2))と既知の被投影面の有効投影範囲頂点の被投影面座標値からスクリーン・被投影面座標変換パラメータを推定し、出力するスクリーン・被投影面座標変換パラメータ推定部306と、メモリ308に格納された入力対象面111の頂点座標(撮像面座標)と同様にメモリ308に格納された撮像面・スクリーン座標変換パラメータを用いて入力領域スクリーン座標を計算する入力範囲計算部307と、を備えている。
【0053】
図4は、画像入力統合処理部109の構成の一例を示す図である。図4において、図1と同一の構成については、図1と同一の符号を付している。
【0054】
図4において、この画像入力統合処理部109は、撮像部101で撮像された画像の取り込みを行う画像取り込み部406と、モード入力部104から画像入力統合処理モードが出力された際に、入力対象面111の入力部分(分割入力を行うため、1度の撮像で入力される入力部分は入力対象面111の一部分になる)の位置指定のために投影される矩形マスクの移動方策(スキャン方策)に関連するスキャンパラメータを設定する矩形マスクスキャン方策計算部401と、スキャン方策に従った矩形マスクの配置位置を計算する矩形マスク投影位置計算部403と、単色背景面上に背景色と異なる色の矩形マスクを配置した想定投影画像(スクリーン座標系201(図2))を生成する想定投影画像生成部404と、想定投影画像を矩形マスク投影パラメータ蓄積部108に蓄積された被投影面・スクリーン座標変換パラメータによって変換し、被投影画像(被投影面座標系203(図2))を生成し、処理終了時に画像取り込み部406に処理終了を通知する被投影画像生成部405と、取り込み画像中から矩形マスク領域を抽出した矩形マスク抽出画像を生成する矩形マスク抽出部407と、矩形マスク抽出画像からその矩形マスク頂点を抽出し、部分画像を統合画像の貼り合わせ位置に歪みなく貼り合わせるための射影変換パラメータを求める射影変換パラメータ推定部413と、射影変換パラメータ推定部413で求められた射影変換パラメータに基づいて撮像された部分画像の統合画像への貼り合わせを行い、矩形マスク投影位置計算部403に終了を通知する画像統合部414と、画像統合部414で貼り合わされた統合画像を蓄積する統合画像蓄積部415と、を備えている。ここで、想定投影画像生成部404で生成された想定投影画像は、入力対象面111上に投影される投影像と同一の画像となる。
【0055】
図5は、上述した画像処理装置の動作を示すフローチャートである。以下、上述した画像処理装置の動作について図1〜図5を用いて説明する。ここで、最初にキャリブレーション処理(ステップ502〜ステップ511)について説明する。
【0056】
まず、モード入力部104において利用者などの入力によってキャリブレーション処理モードが設定されると(ステップ502)、投影部103が投光される(ステップ503)。この投影部103が投光された状態で、撮像部101は、投光領域を全て含むように撮像を行う(ステップ504)。この撮像は、例えば、利用者がモニタ部112を確認しながら駆動部102を操作してパン、チルト、ズームの制御を行うとよい。
【0057】
次に、モード入力部104から指示を受けた画像取り込み部301は、撮像部101で撮像した画像をディジタル画像として取り込み、画像メモリ302に格納する。
【0058】
図6は、撮像する画像の一例を示す図である。図6においては、投影面110と、投影光601と、入力対象面111の関係を示している。以降、この図6も用いて画像処理装置の動作について説明する。
【0059】
入力対象面頂点抽出部303は、入力対象面111の頂点を画像処理により抽出して、その撮像面座標(xc,yc)をメモリ308に格納し、同時に撮像面・スクリーン座標変換パラメータ推定部304に出力する(ステップ505)。入力対象面111の4つの頂点全てについて抽出を完了したかチェックし(ステップ506)、完了していなければステップ505の処理を繰り返す。入力対象面111の4つの頂点の撮像面座標(xc,yc)は、例えば、入力対象面111の輪郭四角形の各辺の直線方程式をHough変換などで求め、その4直線の交点を求めることによって得ることができる。
【0060】
次に撮像面・スクリーン座標変換パラメータ推定部304において、撮像面座標とスクリーン座標間の変換パラメータを入力対象面111の4つの頂点から推定し(ステップ507)、この変換パラメータをメモリ308に格納する。一般に、スクリーン上の点(Xw1,Yw1,0)と、その点が撮像された時の撮像面座標(xc1,yc1)は、以下に示される(数4)または(数5)のように表される(数4)
|k*Xw1| | l1 l2 l3 | |xc1|
|k*Yw1| = | l5 l6 l7 | * |yc1|
| k | | l8 l9 1 | | 1 |
ここで、記号 | |は行列を示す。
(数5)
ここで、Trans[]は転置行列を示し、記号 | |は行列を示す。
【0061】
ここで、入力対象面111の4つの頂点の撮像面座標(xc1,yc1)及びスクリーン座標系での4つの頂点の座標(Xw1,Yw1,0)は既知、即ち、入力対象面111の縦横の長さを計測しておけば良いため、その対応を用いて(数4)の連立方程式を解くことにより、撮像面・スクリーン座標変換パラメータLを推定することができる。
【0062】
次に、投影光頂点抽出部305は、ディジタル画像より投影光601の輪郭四角形の4つの頂点を画像処理によって抽出し、その撮像面座標(xc2,yc2)を求める。そして、それら撮像面座標(xc2,yc2)を撮像面・スクリーン座標変換パラメータによりスクリーン座標(Xw2,Yw2,0)に変換する(ステップ508)。変換されたスクリーン座標(Xw2,Yw2,0)は、メモリ308に格納され、同時にスクリーン・被投影面座標変換パラメータ推定部306に出力される。そして、投影光601の輪郭四角形の4つの頂点全ての処理が終了するまで(ステップ509)、ステップ508の処理を繰り返す。投影光601の輪郭四角形の4つの頂点の撮像面座標(xc2,yc2)は、例えば、投影光601の輪郭四角形の各辺の直線の方程式をHough変換などで求め、その4直線の交点を求めることで得ることができる。
【0063】
次に、スクリーン・被投影面座標変換パラメータ推定部306においてスクリーン座標系201と被投影面座標系203との間の変換パラメータを投影光601の輪郭四角形の4つの頂点を用いて推定し(ステップ510)、矩形マスク投影パラメータ蓄積部108に格納する。一般に、スクリーン上の点(Xw2,Yw2,0)とその点の液晶パネル上の被投影面座標(xp2,yp2)は、(数6)または(数7)のように表される。
(数6)
|k*xp2| | m1 m2 m3 | |Xw2|
|k*yp2|=| m5 m6 m7 |*|Yw2|
| k | | m8 m9 1 | | 1 |
ここで、記号 | |は行列を示す。
(数7)
ここで、記号 | |は行列を示し、Trans[]は転置行列を示す。
【0064】
上述のように、投影光601の輪郭四角形の4つの頂点の被投影面座標(xp2,yp2)は、液晶パネル上の有効被投影矩形領域の4つの頂点に対応するため、容易に求めることができる。よって、投影光601の輪郭四角形の4頂点の被投影面座標とスクリーン座標の双方が既知となるため、その対応を用いて(数6)の連立方程式を解くことにより、スクリーン・被投影面座標変換パラメータMを推定することができる。
【0065】
次に、入力範囲計算部307は、ステップ507の処理で得られ、メモリ308に格納された入力対象面111の4つの頂点の座標(xc1,yc1)を、メモリ308に格納された撮像面・スクリーン座標変換パラメータを用いて、スクリーン座標(Xw3,Yw3,0)に変換し、入力領域スクリーン座標として矩形マスク投影パラメータ蓄積部108に格納する(ステップ511)。
【0066】
以上、ステップ502〜ステップ511の処理がキャリブレーション処理である。
【0067】
次に、画像入力統合処理(ステップ512〜ステップ515)について説明する。まず、モード入力部104において利用者などの入力により画像入力統合モードが設定されると(ステップ512)、画像入力統合処理部109は、入力対象面111上でどのように部分画像を撮像するかに関して矩形マスクのスキャン方策を設定するためのスキャンパラメータを計算する(ステップ513)。
【0068】
次に、画像入力統合処理部109は、スキャン方策で示された位置の部分画像を撮像するために撮像部101の撮像位置合わせを行う(ステップ514)。
【0069】
この撮像位置合わせ処理(ステップ514)においては、まず、投影する矩形マスク位置を設定する(ステップ514a)。次に、全ての部分画像について撮像及び統合処理が完了したか判定する(ステップ514b)。もし、全ての部分画像の撮像及び統合処理を完了していれば、画像入力統合処理を終了する。全ての部分画像の撮像及び統合処理を完了していなければ(ステップ514b)、設定された矩形マスクを撮像部101が撮像できるように、矩形マスクの投影・撮像処理(位置合わせ)を行う(ステップ514c)。
【0070】
次に、画像入力統合処理部109において、撮像された部分画像を統合画像に貼り合わせ統合し(ステップ515)、ステップ514〜ステップ515の処理を繰り返す。
【0071】
以上によって、画像入力統合は行われるが、以下に、ステップ513、ステップ514、及びステップ515に関して詳細にその動作について説明する。
【0072】
(ステップ513の詳細説明)
図7は、図5のステップ513の処理を詳細に示すフローチャートである。図7において、まず、モード入力部104で利用者などの入力により画像入力統合モードが設定されると(図5のステップ512)、矩形マスクスキャン方策計算部401が予め与えられた解像度に基づき矩形マスクサイズ(Mx,My)を算出し、スキャン方策を決定する(ステップ701)。
【0073】
例えば、矩形マスクサイズ(Mx,My)は、以下のように算出される。まず、撮像部101で撮像されるディジタル画像の画素数がix*iy[pix]であり、実際に撮像される入力対象面111の領域サイズがsx*sy[mm]であるとき、その解像度をix/sx*iy/sy[pix/mm]と定義する。このように、解像度を定義するとき、予め解像度rx*ry[pix/mm]を設定しておくと、撮像部101で撮像する矩形マスク領域を画像内に収める場合のディジタル画像画素数ix0*iy0[pix]を決めておけば、矩形マスクサイズMx*My[mm]は、(数8)のように設定される。
(数8)
Mx=ix0/rx
My=iy0/ry
【0074】
ここで、スクリーン座標系201の単位を上述のようにメートル単位系にとれば、この(Mx,My)をそのままスクリーン座標に当てはめて矩形マスクを配置することができる。つまり、撮像画面内の設定領域にこの矩形マスクを撮像すれば、設定解像度に近い解像度での入力が可能となる。
【0075】
図8は、矩形マスクサイズによって対象面111を部分画像に分割し、スキャン順序を設定する例を示す図である。図8(A)は、矩形マスクサイズの格子である部分画像格子801によって部分画像に分割する様子を示し、図8(B)は、そのスキャン順序を示している。図8(B)に示すように、スキャン開始点802を始点として矢印のようにスキャンする方法が考えられる。この時、スキャンを行う上での横方向及び縦方向の最大値と横方向及び縦方向の最小値(いずれもスクリーン座標系201)を入力対象面111の存在領域を示す入力領域スクリーン座標によって計算しておくとよい。
【0076】
次に、矩形マスクスキャン方策計算部401は、矩形マスクのスキャン刻み(横方向スキャン刻み:dx、縦方向スキャン刻み:dy)を計算する(ステップ702)。矩形マスクのスキャンは図8(B)に示したように矩形マスク位置に基づいて横方向スキャンと縦方向スキャンを選択して行う。以下に、矩形マスクのスキャン量について説明する。
【0077】
図9は、矩形マスクのスキャン量を示す図である。図9(A)は、スキャン刻み(dx,dy)を矩形マスク901のサイズに等しく取った場合(dx=Mx,dy=My)の横方向矩形マスクスキャンの例を示し、図9(B)は、スキャン刻み(dx,dy)を矩形マスク901のサイズと比較して小さく取った場合(dx<Mx,dy<My)の横方向矩形マスクスキャンの例を示している。なお、図9においては、横方向のみのスキャンの様子を示しているが縦方向についても図9(A)及び(B)それぞれの場合において、上記説明のスキャン刻みと同じ刻みでスキャンするものとする。
【0078】
図9(A)に示すように、矩形マスク901のスキャン刻みを矩形マスク901のサイズに等しく移動(dx=Mx,dy=My)させると、矩形マスクの撮像が撮像領域内に大きくズームアップして撮像することになるため、矩形マスクスキャンの度に矩形マスク901が撮像部101における撮像範囲の外にはみ出てしまう。このため、次の撮像のために撮像部101に対してどのようにパン、チルト、ズームの制御を行って良いのか判断が困難になる。
【0079】
一方、図9(B)のように、スキャン刻みを矩形マスク901のサイズと比較して小さく取った場合(dx<Mx,dy<My)、矩形マスク901が移動した後も矩形マスク901が撮像領域中に入っている確率が高くなる。したがって、その撮像された矩形マスク901の重心位置の移動方向及び移動量からパン、チルト、ズームの撮像部制御量を推定し、撮像部101の撮像領域の移動を実現することができる。
【0080】
以上に示したように、矩形マスク901のスキャン刻みは、矩形マスク901のサイズ(Mx,My)に比較して十分小さく設定されるのが好ましい。
【0081】
以上により、矩形マスクスキャン方策計算部401は、矩形マスクサイズ、スキャン順序、スキャン刻み、横方向及び縦方向最大値、横方向及び縦方向最小値のスキャンパラメータの設定を行い、処理終了後に矩形マスク投影位置計算部403に対して処理終了信号を出力する。
【0082】
(ステップ514の詳細説明)
図10は、図5のステップ514の処理を詳細に示すフローチャートである。図10において、まず、矩形マスク投影位置計算部403は、上述したスキャンパラメータ(矩形マスクサイズ、スキャン順序、スキャン刻み、横方向及び縦方向最大値、横方向及び縦方向最小値)に基づいて、矩形マスク901の位置を計算する(ステップ514a)。なお、この矩形マスク投影位置計算部403の出力には、例えば、矩形マスク901の頂点座標(4つの頂点のスクリーン座標値)を用いればよい。また、この矩形マスク位置計算により最終部分画像の撮像が終っていると判断される(ステップ514b)と、入力処理は完了する。
【0083】
次に、想定投影画像生成部404において、単色背景、例えば、黒色上に背景色と異なる色、例えば、白色の矩形マスク901(上述した矩形マスク頂点座標を4つの頂点とする)を配置したスクリーン座標系表現の想定投影画像を生成する(ステップ1001)。この画像は、入力対象面111上における投影像と同一の画像となる。
【0084】
次に、被投影画像生成部405は、想定投影画像をマスク投影パラメータ蓄積部108に蓄積されたスクリーン・被投影画像座標変換パラメータによって変換することで、被投影面座標系表現の被投影画像を生成する(ステップ1002)。また、被投影面画像生成部405は、処理を終了すると投影部103に対し被投影画像を出力し、投影部103によって完全に投影が行われるのに十分な時間の遅延処理を行った後、撮像指示信号を画像取り込み部406に出力する。
【0085】
次に、投影部103は、被投影画像の投影を行う(ステップ1003)。ここで、入力対象面111における投影像は、想定投影画像と同一になる。
【0086】
次に、画像取り込み部406は、撮像部101によって撮像された矩形マスクを含む入力対象平面111の撮像画像の画像取り込みを行う(ステップ1004)。
【0087】
次に、矩形マスク抽出部407は、その撮像画像に対して輝度などを用いた領域分割の処理を行い、矩形マスク領域を撮像画像から抽出して矩形マスク抽出画像を生成する(ステップ1005)。そして、ステップ515の処理に移行する。
【0088】
(ステップ515の詳細説明)
図11は、図5のステップ515の処理を詳細に示すフローチャートである。
【0089】
図11において、まず、射影変換パラメータ推定部413は、矩形マスク抽出部407で生成された矩形マスク抽出画像から矩形マスクの4つの頂点の撮像面座標(x3,y3)を抽出する(ステップ1102)。
【0090】
次に、射影変換パラメータ推定部413は、矩形マスクの4つの頂点の撮像面座標(x3,y3)と統合画像座標(xmi,ymi)とから撮像面・統合画像座標変換パラメータを求める(ステップ1103)。ここで、統合画像座標系は、スクリーン座標系201(図2)のxy平面で規定される平面座標系と全く同一と考えることができる。このため、矩形マスク投影のために矩形マスク投影位置計算部403で出力した矩形マスクの4つの頂点のスクリーン座標値をそのまま統合画像の4つの頂点の統合画像座標として用いることができる。そして、射影変換パラメータは、(数4)または(数5)に示したのと同様に、以下に示す(数9)
または(数10)から得ることができる。なお、(数9)において、(xmi,
ymi,0)は、スクリーン座標系201と同一の統合画像座標系の座標値であり、(x3,y3)は、その点が撮像された時の撮像面座標値である。
(数9)
|k*xmi| |p1 p2 p3 | |x3|
|k*ymi|=|p5 p6 p7 |*|y3|
| k | |p8 p9 1 | | 1 |
ここで、記号 | |は行列を示す。
(数10)
ここで、記号 | |は行列を示し、Trans[]は転置行列を示す。
【0091】
ここで、矩形マスク901の4つの頂点の撮像面座標(x3,y3)及び統合画像座標(xmi,ymi)は、既に得られているので、射影変換パラメータ推定部413は、その対応を用いて上述の(数9)の連立方程式を解くことにより、撮像面・統合画像座標変換パラメータPを推定することができる。
【0092】
次に、画像統合部414は、矩形マスク抽出画像中の矩形マスク領域を撮像面・統合画像座標変換パラメータPによって変換して得られる統合画像座標値に基づいて、統合画像蓄積部415に蓄積された統合画像に撮像画像の貼り合わせ合成を行う(ステップ1104)。このとき、統合画像座標系に対応させたxy座標を持つ統合画像メモリを統合画像蓄積部415内に配置して、その統合画像メモリに画像統合部414がアクセスすることにより貼り合わせ統合を行う。
【0093】
そして、画像統合部414は、貼り合わせ統合処理終了後に、矩形マスク投影位置計算部403に対し処理終了信号を出力する。以上のようにして、画像統合処理(ステップ515)を終了する。
【0094】
以上のように、本発明の画像処理方法が適用される画像処理装置によれば、入力対象部分画像の照明及び位置指定を行う投影部103と、投影された入力対象部分画像を撮像する撮像部101とを備えることによって、撮像部光軸と入力対象面の垂直な状態を物理的に保持しなくても部分画像の撮像・入力を可能にすることができ、これによって、装置全体の小型化が実現ができる。
【0095】
また、撮像部101の撮像画像から画像処理によりキャリブレーション情報を抽出するため、統合画像生成のための変換パラメータ推定精度が向上し、品質の高い統合画像を生成できる。
【0096】
また、投影部103と駆動部102を有する撮像部101とを備えているため、撮像部101の光軸と入力対象面とを垂直な状態に保持することなく部分画像の撮像・入力が可能となり、これにより、装置の小型化・簡易化を実現可能なものとしている。
【0097】
<実施の形態2>
次に、本発明の第2の実施の形態について、図面を参照しながら説明する。
【0098】
図12は、本発明の画像処理装置の構成の一例を示す図である。なお、図12においては、図1と同一の構成には同一の符号を付している。
【0099】
図12において、本発明の画像処理装置は、該入力対象面111の部分画像の撮像を行う撮像部101と、入力対象面111の部分画像の撮像の際に撮像部101を駆動する駆動部102と、入力対象面111の部分画像の撮像の際に撮像される部分の照明及び位置指定を兼ねた投影を行う投影部103と、キャリブレーション処理を行うキャリブレーション処理部107と、撮像された入力対象面111の部分画像を統合処理する画像入力統合処理部1209と、当該装置の利用者や他の制御装置(図示せず)などの外部からキャリブレーション処理または画像入力統合処理のいずれかの処理を選択する指示信号を受け付けるモード入力部104と、利用者や他の制御装置などからの駆動部102への指示入力を受け付ける駆動情報入力部1205と、利用者などが駆動部102への指示入力を行う際に撮像部101の撮像範囲を確認するのに用いるモニタ部112と、駆動情報入力部1205及び画像入力統合処理部1209の出力を受け、駆動部102の制御などを行う駆動処理部1206と、キャリブレーション処理部107から出力される座標変換パラメータと入力領域スクリーン座標を格納する矩形マスク投影パラメータ蓄積部108と、を備えている。また、入力対象となる入力対象面111(例えば、絵画などの平面画像)は、投影面110に取り付けられている。
【0100】
図13は、キャリブレーション処理部107の構成の一例を示す図である。図13においては、図12及び図3と同一の構成には同一の符号を付している。
【0101】
図13において、このキャリブレーション処理部107は、モード入力部104からキャリブレーション処理モードが出力された際に、駆動情報入力部1205及び駆動処理部1206によって駆動される駆動部102の駆動動作完了後に撮像部101で撮像された撮像画像の画像取り込みを行う画像取り込み部301と、画像取り込み部301で取り込んだ画像を格納する画像メモリ302と、画像メモリ302に格納された撮像画像に基づいて入力対象面111の頂点位置の撮像面座標を抽出する入力対象面頂点抽出部303と、入力対象面111の頂点座標(撮像面座標)と入力対象面111の頂点位置のスクリーン座標に基づいて撮像面・スクリーン座標変換パラメータを推定する撮像面・スクリーン座標変換パラメータ推定部304と、入力対象面111の頂点座標(撮像面座標)と撮像面・スクリーン座標変換パラメータを格納するメモリ308と、画像メモリ302に格納された撮像画像から投影部103で投影された投影光の頂点の撮像面座標値を抽出し、メモリ308に格納された撮像面・スクリーン座標変換パラメータに基づいてそれらの撮像面座標をスクリーン座標に変換して出力する投影光頂点抽出部305と、投影光頂点座標(スクリーン座標系201)と既知の被投影面の有効投影範囲頂点の被投影面座標値からスクリーン・被投影面座標変換パラメータを推定し、出力するスクリーン・被投影面座標変換パラメータ部306と、メモリ308に格納された入力対象面111の頂点座標(撮像面座標)と同様にメモリ308に格納された撮像面・スクリーン座標変換パラメータを用いて入力領域スクリーン座標を計算する入力範囲計算部307と、を備えている。
【0102】
図14は、画像入力統合処理部1209及び駆動処理部1206の構成の一例を示す図である。図14において、図12及び図4と同一の構成については同一の符号を付している。
【0103】
図14において、画像入力統合処理部1209は、撮像部101で撮像された画像の取り込みを行う画像取り込み部1406と、モード入力部104から画像入力統合処理モードが出力された際に、入力対象面111の入力部分の位置指定のために投影される矩形マスク901の移動方策(スキャン方策)に関連するスキャンパラメータを設定する矩形マスクスキャン方策計算部401と、スキャン方策に従った矩形マスク901の配置位置を計算する矩形マスク投影位置計算部1403と、単色背景面上に背景色と異なる色の矩形マスク901を配置した想定投影画像(スクリーン座標系201(図2))を生成する想定投影画像生成部404と、想定投影画像を矩形マスク投影パラメータ蓄積部108に蓄積された被投影面・スクリーン座標変換パラメータによって変換し、被投影画像(被投影面座標系203(図2))を生成し、処理終了時に画像取り込み部1406に処理終了を通知する被投影画像生成部405と、取り込み画像中から矩形マスク領域を抽出した矩形マスク抽出画像を生成する矩形マスク抽出部1407と、矩形マスク抽出画像からその矩形マスク頂点を抽出し、部分画像を統合画像の貼り合わせ位置に歪みなく貼り合わせるための射影変換パラメータを求める射影変換パラメータ推定部1413と、射影変換パラメータ推定部1413で求められた射影変換パラメータに基づいて撮像された部分画像の統合画像への貼り合わせを行い、矩形マスク投影位置計算部1403に終了を通知する画像統合部414と、画像統合部414で貼り合わされた統合画像を蓄積する統合画像蓄積部415と、を備えている。ここで、想定投影画像生成部404で生成された想定投影画像は、入力対象面111上に投影される投影像と同一の画像となる。
【0104】
また、駆動処理部1206は、矩形マスク投影と部分画像撮像の同期制御のための制御情報を蓄積する制御情報蓄積部1402と、矩形マスク抽出部1407で抽出された矩形マスク抽出画像から撮像画像内における矩形マスクの位置を判定し、撮像部101の撮像領域移動(パン・チルト調整)が必要かどうかを決定する撮像マスク位置判定部1408と、撮像マスク位置判定部1408からパン・チルト調整実行の指示を受けた際に、その矩形マスク位置に基づいてパン・チルト量を推定し、駆動制御部1416に出力するパン・チルト量推定部1409と、矩形マスク抽出画像から撮像画像内における矩形マスクのサイズを判定し、撮像部101の撮像領域拡大・縮小(ズーム調整)が必要かどうかを決定する撮像マスクサイズ判定部1410と、撮像マスクサイズ判定部1410からズーム調整実行の指示を受けた際に、その矩形マスクサイズに基づいてズーム量を推定し、駆動制御部1416に出力するズーム量推定部1411と、撮像した画像に存在する矩形マスクが撮像領域移動用(スキャン用)に配置されたものか統合画像入力用に配置されたものかを制御情報蓄積部1402にアクセスし、その次の処理を矩形マスク投影位置計算部1403に進めるか、射影変換パラメータ推定部1413に進めるかを決定する撮像モード判定部1412と、を備えている。
【0105】
以下、上述した画像処理装置の動作について図5のフローチャートを用いて説明する。
【0106】
まず、モード入力部104において利用者などの入力によってキャリブレーション処理モードが設定されると(ステップ502)、投影部103が投光される(ステップ503)。この投影部103が投光された状態で、撮像部101は、投光領域を全て含むように撮像を行う(ステップ504)。この撮像は、例えば、利用者がモニタ部112を確認しながら駆動情報入力部1205にパン、チルト、ズームの制御情報を入力して行とよい。
【0107】
次に、モード入力部104から指示を受けた画像取り込み部301は、撮像部101で撮像した画像をディジタル画像として取り込み、画像メモリ302に格納する。
【0108】
入力対象面頂点抽出部303は、入力対象面111の頂点を画像処理により抽出して、その撮像面座標(xc,yc)をメモリ308に格納し、同時に撮像面・スクリーン座標変換パラメータ推定部304に出力する(ステップ505)。入力対象面111の4つの頂点すべてについて抽出を完了したかチェックし(ステップ506)、完了していなければステップ505の処理を繰り返す。入力対象面111の4つの頂点の撮像面座標(xc,yc)は、例えば、入力対象面111の輪郭四角形の各辺の直線方程式をHough変換などで求め、その4直線の交点を求めることによって得ることができる。
【0109】
次に撮像面・スクリーン座標変換パラメータ推定部304において、撮像面座標とスクリーン座標間の変換パラメータを入力対象面111の4つの頂点から推定し(ステップ507)、この変換パラメータをメモリ308に格納する。一般に、スクリーン上の点(Xw1,Yw1,0)と、その点が撮像された時の撮像面座標(xc1,yc1)は、上述した(数4)または(数5)のように表される。
【0110】
ここで、入力対象面111の4つの頂点の撮像面座標(xc1,yc1)及びスクリーン座標系での4つの頂点の座標(Xw1,Yw1,0)は既知、即ち、入力対象面111の縦横の長さを計測しておけば良いため、その対応を用いて(数4)の連立方程式を解くことにより、撮像面・スクリーン座標変換パラメータLを推定することができる。
【0111】
次に、投影光頂点抽出部305は、ディジタル画像より投影光601の輪郭四角形の4つの頂点を画像処理によって抽出し、その撮像面座標(xc2,yc2)を求める。そして、それら撮像面座標(xc2,yc2)を撮像面・スクリーン座標変換パラメータによりスクリーン座標(Xw2,Yw2,0)に変換しする(ステップ508)。変換されたスクリーン座標(Xw2,Yw2,0)は、メモリ308に格納され、同時にスクリーン・被投影面座標変換パラメータ推定部306に出力される。そして、投影光601の輪郭四角形の4つの頂点全ての処理が終了するまで(ステップ509)、ステップ508の処理を繰り返す。投影光601の輪郭四角形の4つの頂点の撮像面座標(xc2,yc2)は、例えば、投影光601の輪郭四角形の各辺の直線の方程式をHough変換などで求め、その4直線の交点を求めることで得ることができる。
【0112】
次に、スクリーン・被投影面座標変換パラメータ推定部306においてスクリーン座標系201と被投影面座標系203との間の変換パラメータを投影光601(図6)の輪郭四角形の4つの頂点を用いて推定し(ステップ510)、矩形マスク投影パラメータ蓄積部108に格納する。一般に、スクリーン上の点(Xw2,Yw2,0)とその点の液晶パネル上の被投影面座標(xp2,yp2)は、上述した(数6)または(数7)のように表される。
【0113】
投影光601(図6)の輪郭四角形の4つの頂点の被投影面座標(xp2,yp2)は、液晶パネル上の有効被投影矩形領域の4つの頂点に対応するため、容易に求めることができる。よって、投影光601(図6)の輪郭四角形の4頂点の被投影面座標とスクリーン座標の双方が既知となるため、その対応を用いて上述の(数6)の連立方程式を解くことにより、スクリーン・被投影面座標変換パラメータMを推定することができる。
【0114】
次に、入力範囲計算部307は、ステップ507の処理で得られ、メモリ308に格納された入力対象面111の4つの頂点の座標(xc1,yc1)を、メモリ308に格納された撮像面・スクリーン座標変換パラメータを用いて、スクリーン座標(Xw3,Yw3,0)に変換し、入力領域スクリーン座標として矩形マスク投影パラメータ蓄積部108に格納する(ステップ511)。
【0115】
次に、画像入力統合処理について説明する。
【0116】
まず、モード入力部104において利用者などの入力により画像入力統合モードが設定されると(ステップ512)、画像入力統合処理部1209は、入力対象面111上でどのように部分画像を撮像するかに関して矩形マスク901のスキャン方策を設定するためのスキャンパラメータを計算する(ステップ513)。
【0117】
次に、画像入力統合処理部1209は、スキャン方策で示された位置の部分画像を撮像するために撮像部101の撮像位置合わせを行う(ステップ514)。
【0118】
この撮像位置合わせ処理(ステップ514)においては、まず、投影する矩形マスク位置を設定する(ステップ514a)。次に、全ての部分画像について撮像及び統合処理が完了したか判定する(ステップ514b)。もし、全ての部分画像の撮像及び統合処理を完了していれば、画像入力統合処理を終了する。全ての部分画像の撮像及び統合処理を完了していなければ(ステップ514b)、設定された矩形マスク901を撮像部101が撮像できるように矩形マスク901の投影・撮像処理を行う(ステップ514c)。
【0119】
次に、画像入力統合処理部1209において、撮像された部分画像を統合画像に貼り合わせ統合し(ステップ515)、ステップ514〜ステップ515の処理を繰り返す。
【0120】
以上によって、画像入力統合は行われるが、ステップ513に関しては、上述の図7〜図9を用いて説明した通りである。以下、ステップ514及びステップ515に関して詳細にその動作について説明する。
【0121】
(ステップ514の詳細説明)
図15は、図5のステップ514の処理を詳細に示すフローチャートである。図15においては、図10と同一のステップには同一のステップ番号を付している。図15において、まず、矩形マスクスキャン方策計算部401から処理終了信号を受けた矩形マスク投影位置計算部1403は、撮像位置合わせ処理を開始する(ステップ1501)。
【0122】
次に、矩形マスク投影位置計算部1403は、上述したスキャンパラメータ(矩形マスクサイズ、スキャン順序、スキャン刻み、横方向及び縦方向最大値、横方向及び縦方向最小値)に基づいて矩形マスク901(図9)の位置を計算する(ステップ514a)。なお、この矩形マスク投影位置計算部1403の出力には、例えば、矩形マスク頂点座標(4つの頂点のスクリーン座標値)を用いればよい。また、この矩形マスク位置計算により最終部分画像の撮像が終っていると判断される(ステップ514b)と、入力処理は完了する。
【0123】
また、入力処理の終了時に、矩形マスク投影位置計算部1403は、制御情報蓄積部1402に撮像モードの書き込みを行う(ステップ1502)。なお、ここで使われる撮像モードには、統合撮像モード(入力統合を行うための撮像)及びスキャンモード(撮像部101の撮像領域をスキャンさせるための撮像)がある。ここで、各モードは、図9(B)を用いて(ステップ513の詳細)で説明した矩形マスク位置によって設定されるが、具体的には以下のように設定される。
(a)スキャンモード:矩形マスク投影位置が、統合画像として貼り合わせ合成される部分以外であり、撮像部スキャン用に設定された場合
(b)統合撮像モード:矩形マスク投影位置が、統合画像として貼り合わせ合成される部分に設定された場合
【0124】
次に、想定投影画像生成部404において、単色背景、例えば、黒色上に背景色と異なる色、例えば、白色の矩形マスク901(上述した矩形マスク頂点座標を4つの頂点とする)を配置したスクリーン座標系表現の想定投影画像を生成する(ステップ1001)。この画像は、入力対象面111上における投影像と同一の画像となる。
【0125】
次に、被投影画像生成部405は、想定投影画像を矩形マスク投影パラメータ蓄積部108に蓄積されたスクリーン・被投影画像座標変換パラメータによって変換することで、被投影面座標系表現の被投影画像を生成する(ステップ1002)。また、被投影面画像生成部405は、処理を終了すると投影部103に対し被投影画像を出力し、投影部103によって完全に投影が行われるのに十分な時間の遅延処理を行った後、撮像指示信号を画像取り込み部1406に出力する。
【0126】
次に、投影部103は、被投影画像の投影を行う(ステップ1003)。ここで、入力対象面111における投影像は、想定投影画像と同一になる。
【0127】
次に、画像取り込み部1406は、撮像部101によって撮像された矩形マスク901を含む入力対象平面111の撮像画像の画像取り込みを行う(ステップ1004)。
【0128】
次に、矩形マスク抽出部1407は、その撮像画像に対して輝度などを用いた領域分割の処理を行い、矩形マスク領域を撮像画像から抽出して矩形マスク抽出画像を生成する(ステップ1005)。
【0129】
次に、撮像マスク位置判定部1408は、矩形マスク抽出画像から矩形マスク領域の画像中での重心位置を求めて、その重心位置と画像中心間の画像距離が既定距離内(x[pix]内)にあるかどうか判定する(ステップ1503)。該ステップ1503で、既定距離内にないと判定された場合には、パン・チルト量推定部1409で画像距離に基づいて、パン及びチルトの撮像部制御量を推定し、駆動制御部1416に出力する。駆動制御部1416は、駆動部102を介して撮像部101のパン・チルト制御を行う(ステップ1504)。駆動部102は、駆動終了後に画像取り込み部1406に駆動終了信号を出力て、ステップ1004〜ステップ1504の処理を繰り返す。
【0130】
また、ステップ1503で既定距離内にあると判定された場合、撮像マスクサイズ判定部1410は、矩形マスク抽出画像から矩形マスク領域内の画素数をカウントして、その画素数が解像度で規定された画素数t_p_num[pix](ix0*iy0=t_p_num[pix])以上で、かつ矩形マスク全体が画角内に入っているかどうかを調べる(ステップ1505)。該ステップ1505で、t_p_num[pix]以下または矩形マスク全体が画角内に入っていない場合には、ズーム量推定部1411は、矩形マスク領域内画素数に基づいてズーム量を推定して、推定したズーム量を駆動制御部1416に出力する。駆動制御部1416は、駆動部102を介して撮像部101のズーム制御を行う(ステップ1506)。駆動部102は、駆動終了後に画像取り込み部1406に駆動終了信号を出力して、ステップ1004〜ステップ1506の処理を繰り返す。
【0131】
また、該ステップ1505で、矩形マスク領域内画素数がt_p_num[pix]以上で、かつ矩形マスク全体が画角内に入っている場合には、撮像マスクサイズ判定部1410は撮像モード判定部1412に対し撮像モード判定指示信号を出力する。
【0132】
ここで、撮像モード判定部1412は、制御情報蓄積部1402に格納されている撮像モードの問い合わせを行い、撮像モードを判定する(ステップ1507)。撮像モードが統合撮像モードである場合には(ステップ1507)、撮像モード判定部1412は、射影変換パラメータ推定部1413に対して、撮像画像の統合処理を指示する統合処理実行信号を出力して撮像位置合わせ処理を終了する(ステップ1508)。
【0133】
また、制御情報がスキャンモードである場合には(ステップ1507)、撮像モード判定部1412は、矩形マスク投影位置計算部1403に対し、投影指示信号を出力する。そして、ステップ514a〜ステップ1507の処理を繰り返し行う。
【0134】
(ステップ515の詳細説明)
図16は、図5のステップ515の処理を詳細に示すフローチャートである。図16においては、図11と同一の処理ステップには同一のステップ番号を付している。図16において、まず、射影変換パラメータ推定部1413が撮像モード判定部1412から上述した統合処理実行信号を受け取ることによって、画像統合処理(ステップ515)が開始される(ステップ1601)。
【0135】
ここで、射影変換パラメータ推定部1413は、矩形マスク抽出部1407で生成された矩形マスク抽出画像から矩形マスクの4つの頂点の撮像面座標(x3,y3)を抽出する(ステップ1102)。
【0136】
次に、射影変換パラメータ推定部1413は、矩形マスクの4つの頂点の撮像面座標(x3,y3)と統合画像座標(xmi,ymi)とから撮像面・統合画像座標変換パラメータを求める(ステップ1103)。ここで、統合画像座標系は、スクリーン座標系201(図2)のxy平面で規定される平面座標系と全く同一と考えることができる。このため、矩形マスク投影のために矩形マスク投影位置計算部1403で出力した矩形マスクの4つの頂点のスクリーン座標値をそのまま統合画像の4つの頂点の統合画像座標として用いることができる。そして、射影変換パラメータは、上述の(数9)または(数10)から得ることができる。
【0137】
ここで、矩形マスクの4つの頂点の撮像面座標(x3,y3)及び統合画像座標(xmi,ymi)は、既に得られているので、射影変換パラメータ推定部1413は、その対応を用いて上述の(数9)の連立方程式を解くことにより、撮像面・統合画像座標変換パラメータPを推定することができる。
【0138】
次に、画像統合部414は、矩形マスク抽出画像中の矩形マスク領域を撮像面・統合画像座標変換パラメータPによって変換して得られる統合画像座標値に基づいて、統合画像蓄積部415に蓄積された統合画像に撮像画像の貼り合わせ合成を行う(ステップ1104)。このとき、統合画像座標系に対応させたxy座標を持つ統合画像メモリを統合画像蓄積部415内に配置して、その統合画像メモリに画像統合部414がアクセスすることにより貼り合わせ統合を行う。
【0139】
そして、画像統合部414は、貼り合わせ統合処理終了後に、矩形マスク投影位置計算部1403に対し処理終了信号を出力する。以上のようにして、画像統合処理(ステップ515)を終了する(ステップ1602)。
【0140】
以上のように、本発明の画像処理方法が適用される画像処理装置によれば、入力対象部分画像の照明及び位置指定を行う投影部103と、投影された入力対象部分画像を撮像する撮像部101とを備えることによって、撮像部光軸と入力対象面の垂直な状態を物理的に保持しなくても部分画像の撮像・入力を可能にすることができ、これによって、装置全体の小型化が実現ができる。
【0141】
また、撮像部101の撮像画像から画像処理によりキャリブレーション情報を抽出するため、統合画像生成のための変換パラメータ推定精度が向上し、品質の高い統合画像を生成できる。
【0142】
また、投影部103と駆動部102を有する撮像部101とを備えているため、撮像部101の光軸と入力対象面とを垂直な状態に保持することなく部分画像の撮像・入力が可能となり、これにより、装置の小型化・簡易化を実現可能なものとしている。
【0143】
さらに、駆動処理部1206を設けることによって、駆動部102を自動的に制御することができる。これにより、撮像部101のパン、チルド、ズームの制御が容易に行えるようになる。
【0144】
<実施の形態3>
次に、本発明の第3の実施の形態について、図面を参照しながら説明する。
【0145】
図17は、本発明の画像処理装置におけるキャリブレーション処理部の実施の形態の一例を示す図である。図17において、図3と同一の構成には同一の符号を付している。また、投影面110には、点(ドット)や格子パターン格子点で表現される4点以上のスクリーン基準点1704が既知の間隔で配置されたスクリーン基準パターン1703が配置されている。ここで、画像処理装置全体の構成及び画像入力統合処理部109または1209の構成も第1または第2の実施の形態の構成と同様である。
【0146】
図17において、このキャリブレーション処理部1707は、モード入力部104からキャリブレーション処理モードが出力された際に撮像部101で撮像された撮像画像の画像取り込みを行う画像取り込み部301と、画像取り込み部301で取り込んだ画像を格納する画像メモリ302と、画像メモリ302に格納された撮像画像に基づいて入力対象面111の頂点位置の撮像面座標を抽出する入力対象面頂点抽出部303と、撮像部101で撮像された撮像画像から投影面110上に配置されたスクリーン基準パターン1703中のスクリーン基準点1704の撮像面座標を抽出するスクリーン基準点抽出部1701と、スクリーン基準点1704の撮像面座標とスクリーン座標を用いて最小2乗法により撮像面・スクリーン座標変換パラメータを推定する撮像面・スクリーン座標変換パラメータ最小2乗推定部1702と、入力対象面111の頂点座標(撮像面座標)と撮像面・スクリーン座標変換パラメータを格納するメモリ308と、画像メモリ302に格納された撮像画像から投影部103で投影された投影光の頂点の撮像面座標値を抽出し、メモリ308に格納された撮像面・スクリーン座標変換パラメータに基づいてそれらの撮像面座標をスクリーン座標に変換して出力する投影光頂点抽出部305と、投影光頂点座標(スクリーン座標系201)と既知の被投影面の有効投影範囲頂点の被投影面座標値からスクリーン・被投影面座標変換パラメータを推定し、出力するスクリーン・被投影面座標変換パラメータ部306と、メモリ308に格納された入力対象面111の頂点座標(撮像面座標)と同様にメモリ308に格納された撮像面・スクリーン座標変換パラメータを用いて入力領域スクリーン座標を計算する入力範囲計算部307と、を備えている。
【0147】
ここで、本実施の形態に示したキャリブレーション処理部1707では、撮像面・スクリーン座標変換パラメータを求める際にスクリーン基準パターン1703を用いてパラメータ推定のための座標既知点の数を増やすことによって、最小2乗法によるパラメータ推定精度の向上を図ることができる。
【0148】
図18は、本実施の形態の画像処理装置の動作を示すフローチャートである。以下、本実施の形態の画像処理装置の動作について説明する。図18において、図5と同一の処理を行うステップについては同一のステップ番号を付している。
【0149】
図18において、まず、スクリーン基準パターン1703を投影面110上に配置し、モード入力部104において利用者などの外部からの入力によりキャリブレーション処理モードが設定される(ステップ502)。これにより、投影部103から投影光が投影面110に投影される(ステップ503)。
【0150】
次に、撮像部101が投光領域を全て含むように撮像を行う(ステップ504)。この撮像は、例えば、利用者がモニタ部112を確認しながらパン、チルト、ズームの制御情報を駆動部102に入力して行うようにするとよい。
【0151】
次に、モード入力部104から指示を受けた画像取り込み部301は、撮像部101で撮像した画像を取り込み、画像メモリ302に格納する。
【0152】
次に、スクリーン基準点抽出部1701は、スクリーン基準パターン1703上のスクリーン基準点1704を画像処理によって抽出し、その撮像面座標(xc1,yc1)を出力する(ステップ1801)。4つ以上のスクリーン基準点1704について抽出を完了したかチェックし(ステップ1802)、完了していなければステップ1801の処理を繰り返す。
【0153】
次に、撮像面・スクリーン座標変換パラメータ最小2乗推定部1702は、撮像面座標とスクリーン座標間の変換パラメータを前記スクリーン基準パターン1703上の4つ以上のスクリーン基準点1704から推定し(ステップ1803)、この変換パラメータをメモリ308に格納する。一般に、スクリーン上の点(Xw1,Yw1,0)とその点が撮像されたときの撮像面座標(xc1,yc1)は、上述した(数4)または(数5)のように表される。ここで、スクリーン基準点1704の撮像面座標(xc1,yc1)及びスクリーン座標系201(図2)でのスクリーン基準点1702の座標(Xw1,Yw1,0)は既知(例えば、スクリーン基準点1704の相対位置を計測して、その1つのスクリーン基準点1704をスクリーン座標系201の原点と定義しておけばよい)であるため、その対応を用いて(数4)を満たす撮像面・スクリーン座標変換パラメータを最小2乗法により推定する(ステップ1803)。
【0154】
次に、スクリーン基準パターン1703を投影面110から取り外し、入力対象面111をスクリーン(投影面110)上に配置する。そして、入力対象面頂点抽出部303は、入力対象面111の頂点を画像処理により抽出し、その撮像面座標(xc,yc)をメモリ308に格納する(ステップ505)。4つ以上の全ての頂点について抽出を完了したかチェックし(ステップ506)、完了していなければステップ505の処理を繰り返す。
【0155】
以下、上述の図5に示したステップ508以降の処理を行う。
【0156】
なお、本実施の形態においては、スクリーン基準点1704を特定パターン(本実施の形態ではドットパターン(図17参照))で表現しているが、この基準点を、例えば、格子パターンの交点とすることもできる。
【0157】
以上のように、本発明の実施の形態によれば、スクリーン基準パターン1703、スクリーン基準点抽出部1701、及び撮像面・スクリーン座標変換パラメータ最小2乗推定部1702を備えることによって、撮像面・スクリーン座標変換パラメータの推定精度を向上させ、統合画像の貼り合わせ画像の歪みを大幅に低減できる。
【0158】
また、投影部103と駆動部102を有する撮像部101を備えているため、撮像部101の光軸と入力対象面とを垂直な状態に保持しなくとも部分画像の撮像・入力ができる。このため、画像処理装置の小型化や簡易化が容易になり、さらに、大幅な統合画像の生成精度の向上(部分画像の貼り合わせ精度の向上)が図られる。
【0159】
<実施の形態4>
次に、本発明の第4の実施の形態について、図面を参照しながら説明する。
【0160】
図19は、キャリブレーション処理部1907の構成の一例を示す図である。図19においては、図3と同一の構成には同一の符号を付している。また、画像処理装置全体の構成及び画像入力統合処理部109または1209の構成も第1または第2の実施の形態の構成と同様である。
【0161】
図19において、このキャリブレーション処理部1907は、モード入力部104からキャリブレーション処理モードが出力された際に撮像部101で撮像された撮像画像の画像取り込みを行う画像取り込み部301と、画像取り込み部301で取り込んだ画像を格納する画像メモリ302と、画像メモリ302に格納された撮像画像に基づいて入力対象面111の頂点位置の撮像面座標を抽出する入力対象面頂点抽出部303と、入力対象面111の頂点座標(撮像面座標)と入力対象面111の頂点位置のスクリーン座標に基づいて撮像面・スクリーン座標変換パラメータを推定する撮像面・スクリーン座標変換パラメータ推定部304と、入力対象面111の頂点座標(撮像面座標)と撮像面・スクリーン座標変換パラメータを格納するメモリ308と、キャリブレーション用に投影される投影基準画像の生成を行う投影基準画像生成部1901と、投影基準画像の投影像を含むように撮像部101で撮像された撮像画像から投影基準点を抽出する投影基準点抽出部1902と、投影基準点のスクリーン座標と被投影面座標を用いて最小2乗法によりスクリーン・被投影面座標変換パラメータを推定するスクリーン・被投影面座標変換パラメータ最小2乗推定部1903と、メモリ308に格納された入力対象面111の頂点座標(撮像面座標)と同様にメモリ308に格納された撮像面・スクリーン座標変換パラメータを用いて入力領域スクリーン座標を計算する入力範囲計算部307と、を備えている。
【0162】
本実施の形態では、スクリーン・被投影面座標変換パラメータを求める際に投影基準画像を用いてパラメータ推定のための座標既知点の数を増やすことによって、最小2乗法によるパラメータ推定精度の向上が可能である。
【0163】
図20は、本実施の形態の画像処理装置の動作を示すフローチャートである。以下、本実施の形態の画像処理装置の動作について説明する。図20において、図5と同一の処理を行うステップについては同一のステップ番号を付している。
【0164】
図20において、まず、モード入力部104において利用者などの外部からの入力によって、キャリブレーション処理モードが設定される(ステップ502)。これにより、投影基準画像生成部1901がら予め蓄積された投影基準画像が出力され、投影部103がその投影基準画像を投影する(ステップ2001)。
【0165】
次に、撮像部101が、投光領域を全て含むように撮像を行う(ステップ504)。この撮像は、例えば、利用者がモニタ部112を確認しながら駆動部102にパン、チルト、ズームの制御情報を入力して行うとよい。
【0166】
次に、モード入力部104から指示を受けた画像取り込み部301は、撮像部101で撮像した画像を取り込み、画像メモリ302に格納する。
【0167】
図21は、撮像する画像の例を示す図である。図21において、投影面110には、投影基準点2101が投影されている。また、投影光601は、入力対象面111より広い面を投光している。以降、この図21も用いて画像処理装置の動作について説明する。
【0168】
入力対象面頂点抽出部303は、入力対象面111の頂点を画像処理により抽出し、その撮像面座標(xc,yc)をメモリ308に格納する。また、同時に、この撮像面座標(xc,yc)を撮像面・スクリーン座標変換パラメータ推定部304に出力する(ステップ505)。4つの全ての頂点について抽出を完了したかチェックし(ステップ506)、完了していなければステップ505の処理を繰り返す。
【0169】
次に、撮像面・スクリーン座標変換パラメータ推定部304は、撮像面座標とスクリーン座標間の変換パラメータを推定し(ステップ507)、この変換パラメータをメモリ308に格納する。
【0170】
次に、投影基準点抽出部1902は、ディジタル画像から投影基準点2101を画像処理によって抽出し、その撮像面座標(xc2,yc2)を求る。そして、撮像面座標(xc2,yc2)を撮像面・スクリーン座標変換パラメータによってスクリーン座標(Xw2,Yw2,0)に変換して(ステップ2002)、出力する。そして全ての基準点の抽出処理が終了するまで(ステップ2003)、ステップ2002の処理を繰り返す。
【0171】
次に、スクリーン・被投影面座標変換パラメータ最小2乗推定部1903は、スクリーン座標系201と被投影面座標系203間の変換パラメータを基準点を用いて推定し(ステップ2004)、矩形マスク投影パラメータ蓄積部108に格納する。一般に、スクリーン上の点(Xw2,Yw2,0)とその点の液晶パネル上の被投影面座標(xp2,yp2)は、(数6)または(数7)のように表される。
【0172】
ここで、基準点の被投影面座標(xp2,yp2)は、投影される投影基準画像から既知である。よって、4点以上の基準点の被投影面座標とスクリーン座標双方が既知であるため、その対応を用いて(数7)を満たすスクリーン・被投影面座標変換パラメータを最小2乗法により推定することができる。
【0173】
以下、ステップ511以降の処理については、図5と同様の処理となる。
【0174】
なお、本実施の形態においては、投影基準点を特定パターン(十字パターン)で表現しているが、この基準点を、例えば、格子パターンの交点とすることもできる。
【0175】
以上のように、本実施の形態によれば、投影基準画像生成部1901、投影基準点抽出部1902、及びスクリーン・被投影面座標変換パラメータ最小2乗推定部1903を備えることによって、スクリーン・被投影面座標変換パラメータの推定精度を向上させ、統合画像の貼り合わせ画像の歪みを大幅に低減できるようになった。
【0176】
また、投影部103と駆動部102を有する撮像部101を備えるため、撮像部101の光軸と入力対象面とを垂直な状態に保持しなくとも部分画像の撮像・入力が可能となる。これにより、画像処理装置の小型化・簡易化を図ることができ、さらに、大幅な統合画像の生成精度の向上(部分画像の貼り合わせ精度の向上)を図ることができる。
【0177】
<実施の形態5>
次に、本発明の第5の実施の形態について、図面を参照しながら説明する。
【0178】
図22は、画像入力統合処理部2209の構成の一例を示す図である。図22においては、図4と同一の構成には同一の符号を付している。また、画像処理装置全体の構成及びキャリブレーション処理部の構成も上述の何れかの実施の形態の構成と同様である。
【0179】
図22において、画像入力統合処理部2209は、撮像部101で撮像された画像の取り込みを行う画像取り込み部406と、モード入力部104から画像入力統合処理モードが出力された際に、入力対象面111の入力部分の位置指定のために投影される矩形マスク901(図9)の移動方策(スキャン方策)に関連するスキャンパラメータを設定する矩形マスクスキャン方策計算部401と、想定投影画像を矩形マスク投影パラメータ蓄積部108に蓄積された被投影面・スクリーン座標変換パラメータによって変換し、被投影画像(被投影面座標系203(図2))を生成し、処理終了時に画像取り込み部406に処理終了を通知する被投影画像生成部405と、取り込み画像中から矩形マスク領域を抽出した矩形マスク抽出画像を生成する矩形マスク抽出部407と、スキャン方策に従った矩形マスクおよび格子マスクの配置位置を計算する矩形マスク投影位置計算部2201と、2種類の想定投影画像を生成する想定投影画像生成部2202と、取り込み画像中より格子マスクを抽出した格子マスク抽出画像を生成する格子マスク抽出部2203と、格子マスク抽出画像よりその格子点を抽出し、撮像した部分画像を統合画像の貼り合わせ位置に歪みなく貼り合わせるための撮像面・統合画像座標変換パラメータ(射影変換パラメータ)を最小2乗推定する射影変換パラメータ最小2乗推定部2204と、射影変換パラメータを蓄積する射影変換パラメータ蓄積部2205と、射影変換パラメータ最小2乗推定部2204で求められた射影変換パラメータに基づいて撮像された部分画像の統合画像への貼り合わせを行い、矩形マスク投影位置計算部2201に終了を通知する画像統合部414と、画像統合部414で貼り合わされた統合画像を蓄積する統合画像蓄積部415と、を備えている。
【0180】
ここで、想定投影画像生成部2202で生成された想定投影画像は、入力対象面111上に投影される投影像と同一の画像となる。また、想定投影画像生成部2202で生成される想定生成画像の一方は単色背景面上に背景色と異なる色の矩形マスク901(図9)を配置した画像(スクリーン座標系201(図2))であり、他方は単色背景面上に背景色と異なる色の直交格子パターンから成る格子マスクを配置した画像(スクリーン座標系201)である。
【0181】
本実施の形態では、画像貼り合わせ時に使用する撮像面・統合画像座標変換パラメータを求める際に、格子パターンを用いてパラメータ推定のための座標既知点の数を増やすことにより、最小2乗法によるパラメータ推定精度の向上を図ることができる。
【0182】
図23は、本実施の形態による画像入力統合処理部2209の動作のうち図5のステップ514を詳細にしたフローチャートである。また、図24は、本実施の形態による画像入力統合処理部2209の動作のうち図5のステップ515を詳細にしたフローチャートである。なお、本実施の形態による画像入力統合処理部2209が適用される画像処理装置の全体的な動作は、図5に示したフローチャートと同様である。
【0183】
以下、本実施の形態による画像入力統合処理部2209の動作を図5、図23及び図24を用いて詳細に説明する。ここで、図23においては、図10と同一の処理には同一のステップ番号を付している。
【0184】
図5において、まず、モード入力部104から利用者などの外部からの入力によって画像入力統合モードが設定される(ステップ512)。そして、画像入力統合処理部2209において、入力対象面111上でどのように部分画像を撮像するかに関して格子マスク・矩形マスクのスキャン方策を設定するためのスキャンパラメータを計算する(ステップ513)。
【0185】
次に、画像入力統合処理部109(図1)において、スキャン方策で示された位置の部分画像を撮像するために撮像部101の撮像位置合わせを行う(ステップ514)。撮像位置合わせ処理においては、まず投影するマスク位置を設定する(ステップ514a)。
【0186】
次に、全ての部分画像について撮像・統合が完了したかどうか判定する(ステップ514b)。
【0187】
ステップ514bで、全ての部分画像の撮像・統合が完了したと判定された場合、画像入力統合処理を終了する。全ての部分画像の撮像・統合を完了していなければ、設定された矩形マスクを撮像部101が撮像できるように撮像位置の位置合わせを行う(ステップ514c)。
【0188】
次に、画像入力統合処理部109(図1)は、撮像された部分画像を統合画像に貼り合わせ統合し(ステップ515)、ステップ514〜ステップ515の処理を繰り返す。
【0189】
以上により、画像入力統合は行われるが、ステップ513及びステップ515の処理の詳細は実施の形態1と同様である。
【0190】
次に、ステップ514及びステップ515に関して、以下に詳細に説明する。
【0191】
(ステップ514の詳細説明)
図23において、まず、矩形マスクスキャン方策計算部401からの処理終了信号を受けた矩形マスク投影位置計算部2201は、撮像位置合わせ処理を開始し、スキャンパラメータ(矩形・格子マスクサイズ(ただし、格子マスクサイズと矩形マスクサイズは等しい)、スキャン順序、スキャン刻み、横方向・縦方向最大値、横方向・縦方向最小値)に基づいて、マスクの位置を計算する(ステップ514a)。なお、この矩形マスク投影位置計算部2201の出力には、例えば、マスク頂点座標(4頂点のスクリーン座標値)を用いればよい。また、このマスク位置計算により最終部分画像の撮像が終っていると判断されると(ステップ514b)、入力処理は完了する。
【0192】
次に、想定投影画像生成部2202において、単色背景(例えば、黒色)上に背景色と異なる色(例えば、白色)の格子マスク(マスク頂点座標を4頂点とし、格子間隔は予め与えておく)を配置したスクリーン座標系表現の想定投影画像を生成する(ステップ2302)。この画像は、入力対象面111上における投影像と同一の画像となる。
【0193】
次に、被投影画像生成部405は、被投影面座標系表現の被投影画像を生成する(ステップ1001)。また、被投影面画像生成部405は、処理を終了すると、投影部103に対し被投影画像を出力し、投影部103によって完全に投影が行われるのに十分な時間の遅延処理を行った後に、撮像指示信号を画像取り込み部406に出力する。
【0194】
次に、投影部103は、被投影画像の投影を行う(ステップ1002)。
【0195】
次に、画像取り込み部406は、撮像部101によって撮像された格子マスクを含む入力対象面111の撮像画像の画像取り込みを行う(ステップ2303)。そして、この画像を格子マスク抽出部2203に出力する。
【0196】
次に、格子マスク抽出部2203は、その撮像画像に対して輝度などを用いた直線検出の処理を行い、格子マスク領域を撮像画像より抽出した格子マスク抽出画像を生成する(ステップ2304)。
【0197】
次に、射影変換パラメータ最小2乗推定部2204は、格子マスク抽出部2203で生成された格子マスク抽出画像から格子マスクの複数の交点(4点以上)の撮像面座標(x3,y3)を抽出する(ステップ2309)。
【0198】
続いて、射影変換パラメータ最小2乗推定部2204は、格子マスク交点の撮像面座標(x3,y3)と統合画像座標(xmi,ymi)から撮像面・統合画像座標変換パラメータを求める(ステップ2310)。そして、射影変換パラメータ最小2乗推定部2204は、この撮像面・統合画像座標変換パラメータを射影変換パラメータ蓄積部2205に蓄積し、処理終了信号を矩形マスク投影位置計算部2201に出力する。ここで、統合画像座標系はスクリーン座標系201のxy平面によって規定される平面座標系とまったく同一と考えることができる。そのため、格子マスク投影のために矩形マスク投影位置計算部2201で出力した既知の格子間隔で設定された格子点のスクリーン座標をそのまま格子点の統合画像座標として用いることができる。そして、それら格子点(4点以上)の既知の撮像面座標とスクリーン座標の対応を用いて上述の(数9)の撮像面・統合画像座標変換パラメータ(射影変換パラメータ)を最小2乗推定することができる。
【0199】
(ステップ515の詳細説明)
以下に、図24を用いてステップ515の詳細な動作について説明する。
【0200】
図24において、射影変換パラメータ最小2乗推定部2204から処理終了信号を受けた矩形マスク投影位置計算部2201は、画像統合処理を開始する。
【0201】
矩形マスク投影位置計算部2201は、矩形マスク配置位置(前回格子マスクを投影した位置と同じ位置)及び撮像モード(統合撮像モード)を出力する。そして、想定投影画像生成部2202は、その位置に単色背景(例えば、黒色)上にこの背景色と異なる色(例えば、白色)の矩形マスクを配置したスクリーン座標系表現の想定投影画像を生成する(ステップ2402)。
【0202】
次に、被投影画像生成部405は、想定投影画像を矩形マスク投影パラメータ蓄積部108に蓄積されたスクリーン・被投影面座標変換パラメータによって変換する。これにより、被投影面座標系表現の被投影画像を生成する(ステップ2403)。また、被投影面画像生成部405は、処理を終了すると、投影部103に対し被投影画像を出力する。そして、投影部103によって完全に投影が行われるのに十分な時間の遅延処理を行った後に、撮像指示信号を画像取り込み部406に出力する。
【0203】
次に、投影部103は、被投影画像の投影を行う(ステップ2404)。
【0204】
次に、画像取り込み部406は、撮像部101によって撮像された矩形マスクを含む入力対象面111の撮像画像の画像取り込みを行い(ステップ2405)、矩形マスク抽出部407に出力する。
【0205】
次に、矩形マスク抽出部407において、その撮像画像に対して輝度などを用いた領域分割の処理を行い、矩形マスク領域を撮像画像から抽出した矩形マスク抽出画像を生成する(ステップ2406)。
【0206】
次に、画像統合部414は、矩形マスク抽出画像中の矩形マスク領域を射影変換パラメータ蓄積部2205に蓄積された撮像面・統合画像座標変換パラメータによって変換し、そこで得られる統合画像座標値に基づいて、統合画像蓄積部415に蓄積された統合画像に貼り合わせ合成を行う(ステップ2407)。このとき、統合画像座標系に対応させたxy座標を持つ統合画像メモリを統合画像蓄積部415内に配置して、その統合画像メモリに画像統合部414がアクセスすることにより貼り合わせ統合を行う。
【0207】
そして、画像統合部414は、貼り合わせ統合処理終了後にマスク投影位置計算部2201に対し処理終了信号を出力する。以上により、画像統合処理を終了する。
【0208】
なお、本実施の形態においては、投影マスクに格子マスクを用いた場合について説明したが、格子点に相当する位置に特定パターン(十字パターンなど)を持つマスクを用いることもできる。
【0209】
以上のように、本実施の形態によれば、格子マスク及び矩形マスクを配置した想定投影画像を生成する想定投影画像生成部2202、格子マスク抽出部2203、射影変換パラメータ最小2乗推定部2204、及び射影変換パラメータ蓄積部2205を備えることにより、撮像面・統合画像座標変換パラメータ(射影変換パラメータ)の推定精度を向上させることができ、さらに、統合画像の貼り合わせ精度を大幅に向上することができる。
【0210】
また、投影部103と駆動部102を有する撮像部101を備えるため、撮像部101の光軸と入力対象面とを垂直な状態に保持しなくとも部分画像の撮像・入力が可能となり、装置の小型化・簡易化を容易に行うことが出来る。さらに、大幅な統合画像の生成精度(貼り合わせ精度および部分画像の幾何歪み補正精度)を向上させることができる。
【0211】
<実施の形態6>
次に、本発明の第6の実施の形態について、図面を参照しながら説明する。
【0212】
図25は、画像入力統合処理部2519及び駆動処理部2516の構成の一例を示す図である。図25においては、図14と同一の構成には同一の符号を付している。また、画像処理装置全体の構成及びキャリブレーション処理部の構成も上述の何れかの実施の形態の構成と同様である。
【0213】
図25において、画像入力統合処理部2519は、撮像部101で撮像された画像の取り込みを行う画像取り込み部1406と、モード入力部104から画像入力統合処理モードが出力された際に、入力対象面111の入力部分の位置指定のために投影される矩形マスク901の移動方策(スキャン方策)に関連するスキャンパラメータを設定する矩形マスクスキャン方策計算部401と、想定投影画像を矩形マスク投影パラメータ蓄積部108に蓄積された被投影面・スクリーン座標変換パラメータによって変換し、被投影画像(被投影面座標系203(図2))を生成し、処理終了時に画像取り込み部1406に処理終了を通知する被投影画像生成部405と、取り込み画像中から矩形マスク領域を抽出した矩形マスク抽出画像を生成する矩形マスク抽出部1407と、スキャン方策に従った矩形マスクおよび格子マスクの配置位置を計算するマスク投影位置計算部2501と、2種類の想定投影画像を生成する想定投影画像生成部2502と、取り込み画像中より格子マスクを抽出した格子マスク抽出画像を生成する格子マスク抽出部2503と、格子マスク抽出画像よりその格子点を抽出し、撮像した部分画像を統合画像の貼り合わせ位置に歪みなく貼り合わせるための撮像面・統合画像座標変換パラメータ(射影変換パラメータ)を最小2乗推定する射影変換パラメータ最小2乗推定部2504と、射影変換パラメータを蓄積する射影変換パラメータ蓄積部2505と、射影変換パラメータ最小2乗推定部2504で求められた射影変換パラメータに基づいて撮像された部分画像の統合画像への貼り合わせを行い、矩形マスク投影位置計算部2501に終了を通知する画像統合部414と、画像統合部414で貼り合わされた統合画像を蓄積する統合画像蓄積部415と、を備えている。
【0214】
ここで、想定投影画像生成部2502で生成された想定投影画像は、入力対象面111上に投影される投影像と同一の画像となる。また、想定投影画像生成部2502で生成される想定生成画像の一方は単色背景面上に背景色と異なる色の矩形マスク901(図9)を配置した画像(スクリーン座標系201(図2))であり、他方は単色背景面上に背景色と異なる色の直交格子パターンから成る格子マスクを配置した画像(スクリーン座標系201)である。
【0215】
また、駆動処理部2516は、矩形マスク投影と部分画像撮像の同期制御のための制御情報を蓄積する制御情報蓄積部1402と、格子マスク抽出画像から撮像画像内における格子マスクの位置を判定し、撮像部101の撮像領域移動(パン・チルト調整)が必要かどうかを決定する撮像マスク位置判定部2506と、撮像マスク位置判定部2506からパン・チルト調整実行の指示を受けた際に、その格子マスク位置に基づいてパン・チルト量を推定し、駆動制御部1416に出力するパン・チルト量推定部2507と、格子マスク抽出画像から撮像画像内における格子マスクのサイズを判定し、撮像部101の撮像領域拡大・縮小(ズーム調整)が必要かどうかを決定する撮像マスクサイズ判定部2508と、撮像マスクサイズ判定部2508からズーム調整実行の指示を受けた際に、その格子マスクサイズに基づいてズーム量を推定し、駆動制御部1416に出力するズーム量推定部2509と、撮像した画像に存在する矩形マスクが撮像領域移動用(スキャン用)に配置されたものか統合画像入力用に配置されたものかを制御情報蓄積部1402にアクセスし、その次の処理を矩形マスク投影位置計算部2501に進めるか、射影変換パラメータ最小2乗推定部2504に進めるかを決定する撮像モード判定部1412と、を備えている。
【0216】
本実施の形態では、画像貼り合わせ時に使用する撮像面・統合画像座標変換パラメータを求める際に、格子パターンを用いてパラメータ推定のための座標既知点の数を増やすことにより、最小2乗法によるパラメータ推定精度の向上を図ることができる。
【0217】
図26は、本実施の形態による画像入力統合処理部2519の動作のうち図5のステップ514を詳細にしたフローチャートである。また、図27は、本実施の形態による画像入力統合処理部2519の動作のうち図5のステップ515を詳細にしたフローチャートである。なお、本実施の形態による画像入力統合処理部2519が適用される画像処理装置の全体的な動作は、図5に示したフローチャートと同様である。
【0218】
以下、本実施の形態による画像入力統合処理部2519の動作を図5、図26及び図27を用いて詳細に説明する。ここで、図26においては、図15及び図23と同一の処理には同一のステップ番号を付している。
【0219】
図5において、まず、モード入力部104から利用者などの外部からの入力によって画像入力統合モードが設定される(ステップ512)。そして、画像入力統合処理部2519において、入力対象面111上でどのように部分画像を撮像するかに関して格子マスク・矩形マスクのスキャン方策を設定するためのスキャンパラメータを計算する(ステップ513)。
【0220】
次に、画像入力統合処理部1209(図12)において、スキャン方策で示された位置の部分画像を撮像するために撮像部101の撮像位置合わせを行う(ステップ514)。撮像位置合わせ処理においては、まず投影するマスク位置を設定する(ステップ514a)。
【0221】
次に、全ての部分画像について撮像・統合が完了したかどうか判定する(ステップ514b)。
【0222】
ステップ514bで、全ての部分画像の撮像・統合が完了したと判定された場合、画像入力統合処理を終了する。全ての部分画像の撮像・統合を完了していなければ、設定された矩形マスクを撮像部101が撮像できるように撮像位置の位置合わせを行う(ステップ514c)。
【0223】
次に、画像入力統合処理部1209(図12)は、撮像された部分画像を統合画像に貼り合わせ統合し(ステップ515)、ステップ514〜ステップ515の処理を繰り返す。
【0224】
以上により、画像入力統合は行われるが、ステップ513の処理の詳細は実施の形態1と同様である。
【0225】
次に、ステップ514及びステップ515に関して、以下に詳細に説明する。
【0226】
(ステップ514の詳細説明)
図26において、まず、矩形マスクスキャン方策計算部401からの処理終了信号を受けたマスク投影位置計算部2501は、撮像位置合わせ処理を開始し、スキャンパラメータ(矩形・格子マスクサイズ(ただし、格子マスクサイズと矩形マスクサイズは等しい)、スキャン順序、スキャン刻み、横方向・縦方向最大値、横方向・縦方向最小値)に基づいて、マスクの位置を計算する(ステップ514a)。なお、このマスク投影位置計算部2501の出力には、例えば、マスク頂点座標(4頂点のスクリーン座標値)を用いればよい。また、このマスク位置計算により最終部分画像の撮像が終っていると判断されると(ステップ514b)、入力処理は完了する。
【0227】
また、処理終了時にマスク投影位置計算部2501は、制御情報蓄積部1402に撮像モードの書き込みを行う(ステップ2601)。なお、ここで使われる撮像モードには、統合撮像モード(入力統合を行うための撮像)、統合撮像調整モード(入力統合用撮像のための撮像部101の撮像領域の調整)、及びスキャンモード(撮像部101の撮像領域をスキャンさせるための撮像)がある。
【0228】
また、各モードは、図9(b)を用いて実施の形態1の「(ステップ513の詳細)」で説明した矩形マスク位置によって設定されるが、具体的には以下のように設定される。
(a)スキャンモード :格子マスク投影位置が統合画像として貼り合わせ合成される部分以外であり、撮像部スキャン用に設定された場合
(b)統合撮像調整モード:格子マスク投影位置が統合画像として貼り合わせ合成される部分に設定された場合
(c)統合撮像モード :格子マスクを用いて統合撮像調整が終了した後、矩形マスク位置を調整時の格子マスク位置と同一位置に設定する場合
【0229】
次に、想定投影画像生成部2502において、単色背景(例えば、黒色)上に背景色と異なる色(例えば、白色)の格子マスク(マスク頂点座標を4頂点とし、格子間隔は予め与えておく)を配置したスクリーン座標系表現の想定投影画像を生成する(ステップ2302)。この画像は、入力対象面111上における投影像と同一の画像となる。
【0230】
次に、被投影画像生成部405は、被投影面座標系表現の被投影画像を生成する(ステップ1001)。また、被投影面画像生成部405は、処理を終了すると、投影部103に対し被投影画像を出力し、投影部103によって完全に投影が行われるのに十分な時間の遅延処理を行った後に、撮像指示信号を画像取り込み部1406に出力する。
【0231】
次に、投影部103は、被投影画像の投影を行う(ステップ1002)。
【0232】
次に、画像取り込み部1406は、制御情報蓄積部1402がスキャンモードまたは統合撮像調整モードであることを確認し、撮像部101によって撮像された格子マスクを含む入力対象面111の撮像画像の画像取り込みを行う(ステップ2303)。そして、この画像を格子マスク抽出部2503に出力する。
【0233】
次に、格子マスク抽出部2503は、その撮像画像に対して輝度などを用いた直線検出の処理を行い、格子マスク領域を撮像画像より抽出した格子マスク抽出画像を生成する(ステップ2304)。
【0234】
次に、撮像マスク位置判定部2506は、格子マスク抽出画像から格子マスク領域の画像中での重心位置を求めて、その重心位置と画像中心間の画像距離が既定距離内(x[pix]内)にあるかどうか判定する(ステップ2605)。ステップ2605で、既定距離内にないと判定された場合には、パン・チルト量推定部2507は、画像距離に基づいてパン、チルトの撮像部制御量を推定する。このパン、チルトの撮像部制御量は、駆動制御部1416に出力される。駆動制御部1416は、駆動部102を介して撮像部101をパン・チルト制御する(ステップ2606)。そして、駆動制御部1416は、駆動部102の駆動終了後に画像取り込み部1406に駆動終了信号を出力する。以下、ステップ2601〜ステップ2605の処理を繰り返す。
【0235】
一方、ステップ2605で、既定距離内にあると判定された場合には、撮像マスクサイズ判定部2508が、格子マスク抽出画像より格子マスク領域内の画素数をカウントして、その画素数が解像度で規定された画素数t_p_num[pix](ix0*iy0=t_p_num[pix])以上で、かつ格子マスク全体が画角内に入っているかどうかを調べる(ステップ2607)。ここで、格子マスク領域内の画素数がt_p_num[pix]以下または格子マスク全体が画角内に入っていない場合には、ズーム量推定部2509は、格子マスク領域内画素数に基づいてズーム量を推定し、このズーム量を駆動制御部1416に出力する。駆動制御部1416は、駆動部102を介して撮像部101のズーム制御を行う(ステップ2608)。そして、駆動制御部1416は、駆動終了後に画像取り込み部1406に駆動終了信号を出力する。以下、ステップ2601〜ステップ2607の処理を繰り返す。
【0236】
また、ステップ2607で、格子マスク領域内画素数がt_p_num[pix]以上で、かつ格子マスク全体が画角内に入っている場合には、撮像マスクサイズ判定部2508は、撮像モード判定部1412に対して撮像モード判定指示信号を出力する。ここで、撮像モード判定部1412は、制御情報蓄積部1402に格納されている制御情報の問い合わせを行い、制御情報を判定する(ステップ1507)。制御情報が統合撮像調整モードである場合には、撮像モード判定部1412は、射影変換パラメータ最小2乗推定部2504に対して、撮像画像の処理を指示する実行信号を出力する。また、制御情報がスキャンモードである場合には、撮像モード判定部1412は、マスク投影位置計算部2501に対し、投影指示信号を出力する。以下、ステップ514a〜ステップ1507の処理を繰り返し行う。
【0237】
次に、実行信号を受けた射影変換パラメータ最小2乗推定部2504は、格子マスク抽出部2503で生成された格子マスク抽出画像から格子マスクの複数の交点(4点以上)の撮像面座標(x3,y3)を抽出する(ステップ2309)。
【0238】
続いて、射影変換パラメータ最小2乗推定部2504は、格子マスク交点の撮像面座標(x3,y3)と統合画像座標(xmi,ymi)から撮像面・統合画像座標変換パラメータを求める(ステップ2310)。そして、射影変換パラメータ最小2乗推定部2504は、この撮像面・統合画像座標変換パラメータを射影変換パラメータ蓄積部2505に蓄積し、処理終了信号をマスク投影位置計算部2501に出力する。ここで、統合画像座標系はスクリーン座標系201のxy平面によって規定される平面座標系とまったく同一と考えることができる。そのため、格子マスク投影のためにマスク投影位置計算部2501で出力した既知の格子間隔で設定された格子点のスクリーン座標をそのまま格子点の統合画像座標として用いることができる。そして、それら格子点(4点以上)の既知の撮像面座標とスクリーン座標の対応を用いて上述の(数9)の撮像面・統合画像座標変換パラメータ(射影変換パラメータ)を最小2乗推定することができる。
【0239】
(ステップ515の詳細説明)
以下に、図27を用いてステップ515の詳細な動作について説明する。
【0240】
図27において、射影変換パラメータ最小2乗推定部2504から処理終了信号を受けたマスク投影位置計算部2501は、画像統合処理を開始する。
【0241】
マスク投影位置計算部2501は、矩形マスク配置位置(前回格子マスクを投影した位置と同じ位置)を想定投影画像生成部2502に出力し、撮像モード(統合撮像モード)を制御情報蓄積部1402上に出力する。そして、想定投影画像生成部2502は、その位置に単色背景(例えば、黒色)上にこの背景色と異なる色(例えば、白色)の矩形マスクを配置したスクリーン座標系表現の想定投影画像を生成する(ステップ2702)。
【0242】
次に、被投影画像生成部405は、想定投影画像を矩形マスク投影パラメータ蓄積部108に蓄積されたスクリーン・被投影面座標変換パラメータによって変換する。これにより、被投影面座標系表現の被投影画像を生成する(ステップ2703)。また、被投影面画像生成部405は、処理を終了すると、投影部103に対し被投影画像を出力する。そして、投影部103によって完全に投影が行われるのに十分な時間の遅延処理を行った後に、撮像指示信号を画像取り込み部1406に出力する。
【0243】
次に、投影部103は、被投影画像の投影を行う(ステップ2704)。
【0244】
次に、画像取り込み部1406は、制御情報蓄積部1402が統合撮像モードであることを確認し、撮像部101によって撮像された矩形マスクを含む入力対象面111の撮像画像の画像取り込みを行い(ステップ2705)、矩形マスク抽出部1407に出力する。
【0245】
次に、矩形マスク抽出部1407において、その撮像画像に対して輝度などを用いた領域分割の処理を行い、矩形マスク領域を撮像画像から抽出した矩形マスク抽出画像を生成する(ステップ2706)。
【0246】
次に、画像統合部414は、矩形マスク抽出画像中の矩形マスク領域を射影変換パラメータ蓄積部2505に蓄積された撮像面・統合画像座標変換パラメータによって変換し、そこで得られる統合画像座標値に基づいて、統合画像蓄積部415に蓄積された統合画像に貼り合わせ合成を行う(ステップ2707)。このとき、統合画像座標系に対応させたxy座標を持つ統合画像メモリを統合画像蓄積部415内に配置して、その統合画像メモリに画像統合部414がアクセスすることにより貼り合わせ統合を行う。
【0247】
そして、画像統合部414は、貼り合わせ統合処理終了後にマスク投影位置計算部2501に対し処理終了信号を出力する。以上により、画像統合処理を終了する。
【0248】
なお、本実施の形態においては、投影マスクに格子マスクを用いた場合について説明したが、格子点に相当する位置に特定パターン(十字パターンなど)を持つマスクを用いることもできる。
【0249】
以上のように、本実施の形態によれば、格子マスク及び矩形マスクを配置した想定投影画像を生成する想定投影画像生成部2502、格子マスク抽出部2503、射影変換パラメータ最小2乗推定部2504、及び射影変換パラメータ蓄積部2505を備えることにより、撮像面・統合画像座標変換パラメータ(射影変換パラメータ)の推定精度を向上させることができ、さらに、統合画像の貼り合わせ精度を大幅に向上することができる。
【0250】
また、投影部103と駆動部102を有する撮像部101を備えるため、撮像部101の光軸と入力対象面とを垂直な状態に保持しなくとも部分画像の撮像・入力が可能となり、装置の小型化・簡易化を容易に行うことが出来る。さらに、大幅な統合画像の生成精度(貼り合わせ精度および部分画像の幾何歪み補正精度)を向上させることができる。
【0251】
【発明の効果】
以上に示したように、本発明の画像処理装置及び画像処理方法によれば、キャリブレーション処理により絵画などの入力対象面の全ての位置に自由に矩形パターンを投影することができ、これによって入力方策に従ったそれぞれの部分に矩形パターンの投影を行い、その矩形パターンを撮像するため、撮像光軸と入力対象平面とを垂直な状態に保持しなくとも部分画像の撮像・入力を行うことができる。このため、画像処理装置の小型化・簡易化が容易になった。
【0252】
また、本発明の画像処理装置によれば、その設置の位置関係などが生成される統合画像の画質に影響を与えないため、装置を構成する一部分の誤差によって統合画像の品質に影響を与えることがなく、高精度な画像入力統合が可能となった。
【0253】
また、本発明の画像処理装置及び画像処理方法によれば、貼り合わせのための位置決めは、電子的、光学的な矩形マスクの位置決め精度で決定するため、その誤差は非常に小さくなり、統合画像の品質を大幅に向上することができるようになった。
【0254】
また、キャリブレーション処理の際に投影基準画像を用いることにより、最小2乗法によりスクリーン・被投影面座標変換パラメータの推定精度を向上させ、統合画像の歪みを大幅に低減することができるようになった。
【0255】
また、入力対象面の撮像の際に矩形パターンと格子パターンを用いて、撮像面・統合画像座標変換パラメータを求める際に格子点を用いることにより、最小2乗法で撮像面・統合画像座標変換パラメータの推定精度を向上させ、統合画像の歪みを大幅に低減することができるようになった。
【図面の簡単な説明】
【図1】画像処理装置の構成を示すブロック図である。
【図2】各座標系の説明図である。
【図3】キャリブレーション処理部の構成を示すブロック図である。
【図4】画像入力統合処理部の構成を示すブロック図である。
【図5】画像処理装置の動作を示すフローチャートである。
【図6】画像処理装置の撮像する画像を示す図である。
【図7】スキャンパラメータを計算する処理のフローチャートである。
【図8】スキャン順序を設定する処理を示す図である。
【図9】矩形マスクのスキャン量を示す図である。
【図10】撮像部の撮像位置合わせ処理のフローチャートである。
【図11】部分画像の統合画像への貼り合わせ統合処理のフローチャートである。
【図12】画像処理装置の構成を示すブロック図である。。
【図13】キャリブレーション処理部の構成を示すブロック図である。
【図14】画像入力統合処理部及び駆動処理部の構成を示すブロック図である。
【図15】撮像部の撮像位置合わせ処理のフローチャートである。
【図16】部分画像の統合画像への貼り合わせ統合処理のフローチャートである。
【図17】キャリブレーション処理部の構成を示すブロック図である。
【図18】画像処理装置の動作を示すフローチャートである。
【図19】キャリブレーション処理部の構成を示すブロック図である。
【図20】画像処理装置の動作を示すフローチャートである。
【図21】撮像する画像を示す図である。
【図22】画像入力統合処理部の構成を示すブロック図である。
【図23】撮像部の撮像位置合わせ処理のフローチャートである。
【図24】部分画像の統合画像への貼り合わせ統合処理のフローチャートである。
【図25】画像入力統合処理部及び駆動処理部の構成を示すブロック図である。
【図26】撮像部の撮像位置合わせ処理のフローチャートである。
【図27】部分画像の統合画像への貼り合わせ統合処理のフローチャートである。
【図28】従来の画像処理装置の構成図である。
【図29】撮像部の撮像座標系を示す図である。
【図30】従来の画像処理装置の動作を示すフローチャートである。
【図31】入力対象面を示す図である。
【符号の説明】
101、2801 撮像部
102 駆動部
103 投影部
104 モード入力部
107、1707、1907 キャリブレーション処理部
108 矩形マスク投影パラメータ蓄積部
109、1209、2209、2519 画像入力統合処理部
110 投影面
111、2810 入力対象面
112 モニタ部
201 スクリーン座標系
202 投影部座標系
203 被投影面座標系
204 撮像部座標系
205 撮像面座標系
206 投影部焦点距離Fp
207 撮像部焦点距離Fc
208 投影光輪郭四角形
301、406、1406 画像取り込み部
302 画像メモリ
303 入力対象面頂点抽出部
304 撮像面・スクリーン座標変換パラメータ推定部
305 投影光頂点抽出部
306 スクリーン・被投影面座標変換パラメータ推定部
307 入力範囲計算部
308 メモリ
401 矩形マスクスキャン方策計算部
403、1403、2201、2501 矩形マスク投影位置計算部
404、2202、2502 想定投影画像生成部
405 被投影画像生成部
407、1407、2203、2503 矩形マスク抽出部
413、1413 射影変換パラメータ推定部
414、2808 画像統合部
415、2809 統合画像蓄積部
601 投影光
801 部分画像格子
802 スキャン開始点
901 矩形マスク
1205 駆動情報入力部
1206、2516 駆動処理部
1402 制御情報蓄積部
1408、2506 撮像マスク位置判定部
1409、2507 パン・チルト量推定部
1410、2508 撮像マスクサイズ判定部
1411、2509 ズーム量推定部
1412 撮像モード判定部
1416、2806 駆動制御部
1701 スクリーン基準点抽出部
1702 撮像面・スクリーン座標変換パラメータ最小2乗推定部
1703 スクリーン基準パターン
1704 スクリーン基準点
1901 投影基準画像生成部
1902 投影基準点抽出部
1903 スクリーン・被投影面座標変換パラメータ最小2乗推定部
2101 投影基準点
2204、2504 射影変換パラメータ最小2乗推定部
2205、2505 射影変換パラメータ蓄積部
2802 横方向駆動部
2803a,2803b 縦方向駆動部
2804 制御指示入力部
2805 撮像部位置計算部
2807 撮像制御部
2901 x軸
2902 y軸
3101 撮像領域
Claims (21)
- 投影面にある所定の画像を分割して部分画像として撮像し、撮像した前記部分画像を統合して前記所定の画像の画像データを生成する画像処理装置であって、キャリブレーション処理に用いる画像及び前記所定の画像の部分画像を撮像する撮像手段と、
前記キャリブレーション処理のための投影及び前記部分画像の領域の指定を行う投影手段と、
前記投影手段の被投影面に定義される被投影面座標系と前記投影面に定義されるスクリーン座標系との間の座標変換パラメータを算出し、当該座標変換パラメータに基づいて前記撮像手段で撮像される前記所定の画像の前記投影面での領域を示す入力領域スクリーン座標を算出するキャリブレーション処理を行うキャリブレーション処理手段と、
前記撮像手段で撮像された画像から前記指定された領域の前記部分画像を抽出し、前記部分画像を統合画像の貼り合わせ位置に歪みなく貼り合わせるための射影変換パラメータを求め、前記射影変換パラメータに基づいて前記部分画像の統合画像への貼り合わせを行って前記所定の画像の画像データを生成する画像入力統合処理手段と、
を備え、
前記画像入力統合処理手段は、前記キャリブレーション処理手段で算出された前記入力領域スクリーン座標に基づいて前記所定の画像から分割される前記部分画像を決定し、
前記撮像手段は、前記画像入力統合処理手段で決定された前記部分画像を撮像する、
ことを特徴とする画像処理装置。 - さらに、前記キャリブレーション処理手段または前記画像入力統合処理手段の何れかの手段を動作可能にするモード入力手段を有することを特徴とする請求項1記載の画像処理装置。
- さらに、前記キャリブレーション処理手段で算出された前記座標変換パラメータと前記入力領域スクリーン座標を格納する矩形マスク投影パラメータ蓄積手段を備え、
前記画像入力統合処理手段は、前記矩形マスク投影パラメータ蓄積手段に格納されている前記入力領域スクリーン座標に基づいて前記所定の画像から分割される前記部分画像を決定する、
ことを特徴とする請求項1または2記載の画像処理装置。 - さらに、前記撮像手段で撮像されている画像を表示するモニタ手段を備えることを特徴とする請求項1乃至3記載の画像処理装置。
- 前記撮像手段は、CCD(Charge Coupled Device)カメラであることを特徴とする請求項1乃至4記載の画像処理装置。
- 前記キャリブレーション処理手段は、
前記撮像手段で撮像された撮像画像を取り込む画像取り込み手段と、
前記画像取り込み手段で取り込んだ撮像画像を格納する画像メモリと、
前記画像メモリに格納された前記撮像画像から入力対象面の頂点の位置を抽出し、抽出された前記位置に基づいて前記撮像手段の撮像平面に定義される撮像面座標系における前記頂点の撮像面座標値を算出する入力対象面頂点抽出手段と、
前記入力対象面頂点抽出手段で算出された前記入力対象面の頂点の前記撮像面座標値と、前記投影面に定義されるスクリーン座標系における予め準備された前記入力対象面の頂点のスクリーン座標値とに基づいて、撮像面・スクリーン座標間変換パラメータを推定する撮像面・スクリーン座標変換パラメータ推定手段と、
前記撮像面・スクリーン座標変換パラメータと前記入力対象面の頂点の前記撮像面座標値を格納するメモリと、前記画像メモリに格納された前記撮像画像から前記投影手段で投影された投影光の頂点の撮像面座標値を抽出し、前記メモリに格納された前記撮像面・スクリーン座標変換パラメータによって前記投影光の頂点の撮像面座標値をスクリーン座標値に変換する投影光頂点抽出手段と、
前記投影光頂点抽出手段で変換された前記投影光の頂点のスクリーン座標値と、前記投影手段の被投影面に定義される被投影面座標系における予め準備された前記被投影面の有効投影範囲の被投影面座標値とからスクリーン・被投影面座標変換パラメータを推定し、当該スクリーン・被投影面座標変換パラメータを前記矩形マスク投影パラメータ蓄積手段に出力するスクリーン・被投影面座標変換パラメータ推定手段と、
前記メモリに格納された前記撮像面・スクリーン変換パラメータによって前記入力領域スクリーン座標を計算し、前記矩形マスク投影パラメータ蓄積手段に出力する入力範囲計算手段と、
を有することを特徴とする請求項1乃至5記載の画像処理装置。 - 前記投影面は、それぞれの相対位置関係が既知の4点以上のドットなどの点または格子点からなるスクリーン基準点が配置されたスクリーン基準パターンを有し、
前記キャリブレーション処理手段は、
前記撮像手段で撮像された撮像画像を取り込む画像取り込み手段と、
前記画像取り込み手段で取り込んだ撮像画像を格納する画像メモリと、
前記画像メモリに格納された前記撮像画像から前記スクリーン基準パターン上のスクリーン基準点位置を抽出し、前記撮像面座標系における前記スクリーン基準点の座標値を出力するスクリーン基準点抽出手段と、
前記スクリーン基準パターン上の前記スクリーン基準点の座標値と、前記投影面に定義されるスクリーン座標系における予め準備された前記入力対象面の頂点のスクリーン座標値とに基づいて、撮像面・スクリーン座標間変換パラメータを最小2乗推定する撮像面・スクリーン座標変換パラメータ推定手段と、
前記画像メモリに格納された前記撮像画像から入力対象面の頂点の位置を抽出し、抽出された前記位置に基づいて前記撮像手段の撮像平面に定義される撮像面座標系における前記頂点の撮像面座標値を算出する入力対象面頂点抽出手段と、
前記撮像面・スクリーン座標変換パラメータと前記入力対象面の頂点の前記撮像面座標値を格納するメモリと、前記画像メモリに格納された前記撮像画像から前記投影手段で投影された投影光の頂点の撮像面座標値を抽出し、前記メモリに格納された前記撮像面・スクリーン座標変換パラメータによって前記投影光の頂点の撮像面座標値をスクリーン座標値に変換する投影光頂点抽出手段と、
前記投影光頂点抽出手段で変換された前記投影光の頂点のスクリーン座標値と、前記投影手段の被投影面に定義される被投影面座標系における予め準備された前記被投影面の有効投影範囲の被投影面座標値とからスクリーン・被投影面座標変換パラメータを推定し、当該スクリーン・被投影面座標変換パラメータを前記矩形マスク投影パラメータ蓄積手段に出力するスクリーン・被投影面座標変換パラメータ推定手段と、
前記メモリに格納された前記撮像面・スクリーン変換パラメータによって前記入力領域スクリーン座標を計算し、前記矩形マスク投影パラメータ蓄積手段に出力する入力範囲計算手段と、
を有することを特徴とする請求項1乃至5記載の画像処理装置。 - 前記キャリブレーション処理手段は、所定の投影基準点を有し前記投影手段によってキャリブレーション用に投影される投影基準画像の生成を行う投影基準画像生成手段と、
前記撮像手段で撮像した撮像画像を取り込む画像取り込み手段と、
前記画像取り込み手段で取り込んだ撮像画像を格納する画像メモリと、
前記画像メモリに格納された前記撮像画像から入力対象面の頂点の位置を抽出し、抽出された前記位置に基づいて前記撮像手段の撮像平面に定義される撮像面座標系における前記頂点の撮像面座標値を算出する入力対象面頂点抽出手段と、
前記入力対象面頂点抽出手段で算出された前記入力対象面の頂点の前記撮像面座標値と、前記投影面に定義されるスクリーン座標系における予め準備された前記入力対象面の頂点のスクリーン座標値とに基づいて、撮像面・スクリーン座標間変換パラメータを推定する撮像面・スクリーン座標変換パラメータ推定手段と、
前記撮像面・スクリーン座標変換パラメータと前記入力対象面の頂点の前記撮像面座標値を格納するメモリと、
前記画像メモリに格納された前記撮像画像から被投影面座標値が既知の前記投影基準点の撮像面座標値を抽出し、前記メモリに格納された撮像面・スクリーン座標変換パラメータによって、前記投影基準点の前記撮像面座標値をスクリーン座標値に変換して出力する投影基準点抽出手段と、
前記投影基準点のスクリーン座標値と既知の被投影面座標値に基づいてスクリーン・被投影面座標変換パラメータを推定し、前記矩形マスク投影パラメータ蓄積手段に出力するスクリーン・被投影面座標変換パラメータ最小2乗推定手段と、
前記メモリに格納された前記撮像面・スクリーン変換パラメータによって前記入力領域スクリーン座標を計算し、前記矩形マスク投影パラメータ蓄積手段に出力する入力範囲計算手段と、
を有することを特徴とする請求項1乃至5記載の画像処理装置。 - 前記画像入力統合処理手段は、
前記入力領域スクリーン座標で表される前記投影面上の領域内にある前記所定の画像の全ての部分画像が前記撮像手段によって撮像可能なように、前記部分画像に対応する矩形マスクの位置移動について、前記矩形マスクのサイズ、スキャン順序、スキャン刻み、移動領域横方向・縦方向最大値、移動領域横方向・縦方向最小値を計算する矩形マスクスキャン方策計算手段と、
前記部分画像の撮像のために配置される矩形マスクの位置を計算する矩形マスク投影位置計算手段と、
前記矩形マスクの位置に基づいて所定の単色の背景面上に前記所定の単色と異なる色の前記矩形マスクを配置した前記投影面上に投影される画像と同一でありかつ前記スクリーン座標系の想定投影画像を生成する想定投影画像生成手段と、
前記矩形マスク投影パラメータ蓄積手段に蓄積された前記被投影面・スクリーン座標変換パラメータを用いて、前記想定投影画像に対応した前記被投影面座標系の被投影画像を生成する被投影画像生成手段と、
前記撮像手段で撮像された撮像画像を取り込む画像取り込み手段と、
前記撮像画像から前記矩形マスクを抽出して矩形マスク画像を生成する矩形マスク抽出手段と、
前記部分画像を統合画像の貼り合わせ位置に歪みなく貼り合わせるための射影変換パラメータを求める射影変換パラメータ推定手段と、
前記射影変換パラメータに基づいて前記撮像手段で撮像された前記部分画像の統合画像への貼り合わせを行う画像統合手段と、
前記統合画像を画像データとして蓄積する統合画像蓄積手段と、
を備えることを特徴とする請求項1乃至8記載の画像処理装置。 - 前記画像入力統合処理手段は、
前記入力領域スクリーン座標で表される前記投影面上の領域内にある前記所定の画像の全ての部分画像が前記撮像手段によって撮像可能なように、前記部分画像に対応する矩形マスクの位置移動について、前記矩形マスクのサイズ、スキャン順序、スキャン刻み、移動領域横方向・縦方向最大値、移動領域横方向・縦方向最小値を計算する矩形マスクスキャン方策計算手段と、
前記部分画像の撮像のために配置される格子マスク及び矩形マスクの位置を計算する矩形マスク投影位置計算手段と、
前記矩形マスクの位置に基づいて所定の単色の背景面上に前記所定の単色と異なる色の前記矩形マスク、または単色の背景面上に前記所定の単色と異なる色の直交格子パターンから成る格子マスクを配置した画像を前記スクリーン座標系の想定投影画像として生成する想定投影画像生成手段と、
前記矩形マスク投影パラメータ蓄積手段に蓄積された前記被投影面・スクリーン座標変換パラメータを用いて、前記想定投影画像に対応した前記被投影面座標系の被投影画像を生成する被投影画像生成手段と、
前記撮像手段で撮像された撮像画像を取り込む画像取り込み手段と、
前記撮像画像から前記格子マスクを抽出して格子マスク画像を生成する格子マスク抽出手段と、
前記撮像画像から前記矩形マスクを抽出して矩形マスク画像を生成する矩形マスク抽出手段と、
前記部分画像を統合画像の貼り合わせ位置に歪みなく貼り合わせるための射影変換パラメータを、前記格子マスクの格子点から求める射影変換パラメータ最小2乗推定手段と、
前記射影変換パラメータを蓄積する射影変換パラメータ蓄積手段と、
前記射影変換パラメータ蓄積手段に蓄積されている前記射影変換パラメータに基づいて前記撮像手段で撮像された前記矩形マスクで示された前記部分画像を統合画像へ貼り合わせる画像統合手段と、前記統合画像を画像データとして蓄積する統合画像蓄積手段と、
を備えることを特徴とする請求項1乃至8記載の画像処理装置。 - さらに、前記撮像手段を駆動する駆動手段と、
前記駆動手段を制御する駆動処理手段と、
を備え、
前記駆動処理手段は、前記撮像手段が前記画像入力統合処理手段で決定された前記部分画像を撮像するように前記駆動手段を制御する、
ことを特徴とする請求項1乃至10記載の画像処理装置。 - さらに、利用者または他の装置などの外部からの前記駆動手段への指示入力を受け付ける駆動情報入力手段を備え、
前記駆動処理手段は、前記撮像手段が前記画像入力統合処理手段で決定された前記部分画像を撮像するように、または、前記駆動情報入力手段から前記指示入力に応じて前記駆動手段を制御する、
ことを特徴とする請求項11記載の画像処理装置。 - 前記駆動処理手段は、前記撮像手段がパン、チルト及びズーム動作を行うように前記駆動手段を制御することを特徴とする請求項11または12記載の画像処理装置。
- 前記画像入力統合処理手段は、
前記入力領域スクリーン座標で表される前記投影面上の領域内にある前記所定の画像の全ての部分画像が前記撮像手段によって撮像可能なように、前記部分画像に対応する矩形マスクの位置移動について、前記矩形マスクのサイズ、スキャン順序、スキャン刻み、移動領域横方向・縦方向最大値、移動領域横方向・縦方向最小値を計算する矩形マスクスキャン方策計算手段と、
前記部分画像の撮像のために配置される矩形マスクの位置を計算する矩形マスク投影位置計算手段と、
前記矩形マスクの位置に基づいて所定の単色の背景面上に前記所定の単色と異なる色の前記矩形マスクを配置した前記投影面上に投影される画像と同一でありかつ前記スクリーン座標系の想定投影画像を生成する想定投影画像生成手段と、
前記矩形マスク投影パラメータ蓄積手段に蓄積された前記被投影面・スクリーン座標変換パラメータを用いて、前記想定投影画像に対応した前記被投影面座標系の被投影画像を生成する被投影画像生成手段と、
前記撮像手段で撮像された撮像画像を取り込む画像取り込み手段と、
前記撮像画像から前記矩形マスクを抽出して矩形マスク画像を生成する矩形マスク抽出手段と、
前記部分画像を統合画像の貼り合わせ位置に歪みなく貼り合わせるための射影変換パラメータを求める射影変換パラメータ推定手段と、
前記射影変換パラメータに基づいて前記撮像手段で撮像された前記部分画像の統合画像への貼り合わせを行う画像統合手段と、
前記統合画像を画像データとして蓄積する統合画像蓄積手段と、
を備え、
前記駆動処理手段は、
前記駆動手段を制御する駆動制御手段と、
前記投影手段と前記撮像手段の同期制御を行うための制御情報を格納する制御情報蓄積手段と、
前記矩形マスク画像から前記矩形マスクの前記所定の画像中での位置を判定し、前記撮像手段のパン・チルト回転を前記駆動制御手段に指示するか、しないかを決定する撮像マスク位置判定手段と、
前記矩形マスク画像から前記撮像手段のパン・チルト量を推定するパン・チルト量推定手段と、
前記矩形マスク画像から前記矩形マスクの占める領域の画素数をカウントして前記撮像手段のズーム制御を前記駆動制御手段に指示するか、しないかを決定する撮像マスクサイズ判定手段と、
前記矩形マスク画像から前記撮像手段のズーム量を推定するズーム量推定手段と、
前記制御情報蓄積手段に格納された前記制御情報を参照して、前記撮像手段を移動さるせか、または移動を停止させ、その位置で撮像した画像を用いて貼り合わせ統合を行うかどうかを判定する撮像モード判定手段と、
を備える、
ことを特徴とする請求項11乃至13記載の画像処理装置。 - 前記画像入力統合処理手段は、
前記入力領域スクリーン座標で表される前記投影面上の領域内にある前記所定の画像の全ての部分画像が前記撮像手段によって撮像可能なように、前記部分画像に対応する矩形マスクの位置移動について、前記矩形マスクのサイズ、スキャン順序、スキャン刻み、移動領域横方向・縦方向最大値、移動領域横方向・縦方向最小値を計算する矩形マスクスキャン方策計算手段と、
前記部分画像の撮像のために配置される格子マスク及び矩形マスクの位置を計算する矩形マスク投影位置計算手段と、
前記矩形マスクの位置に基づいて所定の単色の背景面上に前記所定の単色と異なる色の前記矩形マスク、または単色の背景面上に前記所定の単色と異なる色の直交格子パターンから成る格子マスクを配置した画像を前記スクリーン座標系の想定投影画像として生成する想定投影画像生成手段と、
前記矩形マスク投影パラメータ蓄積手段に蓄積された前記被投影面・スクリーン座標変換パラメータを用いて、前記想定投影画像に対応した前記被投影面座標系の被投影画像を生成する被投影画像生成手段と、
前記撮像手段で撮像された撮像画像を取り込む画像取り込み手段と、
前記撮像画像から前記格子マスクを抽出して格子マスク画像を生成する格子マスク抽出手段と、
前記撮像画像から前記矩形マスクを抽出して矩形マスク画像を生成する矩形マスク抽出手段と、
前記部分画像を統合画像の貼り合わせ位置に歪みなく貼り合わせるための射影変換パラメータを、前記格子マスクの格子点から求める射影変換パラメータ最小2乗推定手段と、
前記射影変換パラメータを蓄積する射影変換パラメータ蓄積手段と、
前記射影変換パラメータ蓄積手段に蓄積されている前記射影変換パラメータに基づいて前記撮像手段で撮像された前記矩形マスクで示された前記部分画像を統合画像へ貼り合わせる画像統合手段と、
前記統合画像を画像データとして蓄積する統合画像蓄積手段と、
を備え、
前記駆動処理手段は、
前記駆動手段を制御する駆動制御手段と、
前記投影手段と前記撮像手段の同期制御を行うための制御情報を格納する制御情報蓄積手段と、
前記格子マスク画像から前記格子マスクの前記所定の画像中での位置を判定し、前記撮像手段のパン・チルト回転を前記駆動制御手段に指示するか、しないかを決定する撮像マスク位置判定手段と、
前記格子マスク画像から前記撮像手段のパン・チルト量を推定するパン・チルト量推定手段と、
前記格子マスク画像から前記格子マスクの占める領域の画素数をカウントして前記撮像手段のズーム制御を前記駆動制御手段に指示するか、しないかを決定する撮像マスクサイズ判定手段と、
前記格子マスク画像から前記撮像手段のズーム量を推定するズーム量推定手段と、
前記制御情報蓄積手段に格納された前記制御情報を参照して、前記撮像手段を移動さるせか、または移動を停止させ、その位置で撮像した画像を用いて貼り合わせ統合を行うかどうかを判定する撮像モード判定手段と、
を備える、
ことを特徴とする請求項11乃至13記載の画像処理装置。 - 投影面にある所定の画像を分割して部分画像として撮像し、撮像した前記部分画像を統合して前記所定の画像の画像データを生成する画像処理方法であって、
前記投影面上の前記所定の画像を含む投光領域を撮像し、
撮像した画像をディジタル画像として取り込んで格納し、
前記所定の画像の4以上の頂点を撮像面座標値として抽出し、
前記撮像面座標値に基づいて撮像面座標系とスクリーン座標系間の撮像面・スクリーン座標変換パラメータを推定し、
前記ディジタル画像から前記投光領域の4以上の頂点を抽出して当該投光領域の撮像面座標値を求め、
前記投光領域の撮像面座標を前記撮像面・スクリーン座標変換パラメータによって前記投光領域のスクリーン座標値に変換し、
前記投光領域のスクリーン座標値に基づいて、前記スクリーン座標系と被投影面座標系との間のスクリーン・被投影面座標変換パラメータを推定し、
前記所定の画像の4以上の頂点を撮像面座標値を前記撮像面・スクリーン座標変換パラメータを用いてスクリーン座標値に変換し、
前記所定の画像の部分画像を決定する矩形マスクのスキャンパラメータを計算し、
前記スクリーン座標値及び前記スキャンパラメータに基づいて、撮像する部分画像の位置合わせを行い、
前記部分画像を撮像し、
前記部分画像を統合画像の貼り合わせ位置に歪みなく貼り合わせるための射影変換パラメータを求め、前記射影変換パラメータに基づいて前記部分画像の統合画像への貼り合わせを行う、
ことを特徴とする画像処理方法。 - 前記部分画像の位置合わせを行うステップは、
投影する前記矩形マスクの位置を設定し、
投影された前記矩形マスクが撮像できるように前記矩形マスクの位置決めを行う、
ことを特徴とする請求項16記載の画像処理方法。 - 前記部分画像の位置合わせを行うステップから前記統合するステップは、全ての部分画像について撮像及び統合処理が完了するまで繰り返されることを特徴とする請求項16または17記載の画像処理方法。
- 前記矩形マスクのスキャンパラメータは、前記矩形マスクのサイズ、スキャン順序、スキャン刻み、横方向及び縦方向最大値、横方向及び縦方向最小値であることを特徴とする請求項16乃至18記載の画像処理方法。
- 前記部分画像の位置合わせを行うステップは、
前記スキャンパラメータに基づいて、前記矩形マスクの位置を計算し、
前記撮影面の背景色と異なる色の矩形マスクを配置した想定投影画像を生成し、
前記想定投影画像を前記スクリーン・被投影画像座標変換パラメータによって変換して被投影画像を生成し、
前記被投影画像の投影を行い、
前記矩形マスクを含む前記被投影画像を撮像画像として取り込み、
前記撮像画像に対して領域分割の処理を行って前記矩形マスクの領域を前記撮像画像から抽出して矩形マスク抽出画像を生成し、
前記矩形マスク抽出画像が撮像できるように前記矩形マスクの位置決めを行う、
ことを特徴とする請求項19記載の画像処理方法。 - 前記統合するステップは、
前記矩形マスク抽出画像から前記矩形マスクの4つの頂点の撮像面座標を抽出し、
前記矩形マスクの4つの頂点の撮像面座標と前記統合画像の座標とから撮像面・統合画像座標変換パラメータを求め、
前記矩形マスク抽出画像中の矩形マスク領域を前記撮像面・統合画像座標変換パラメータによって変換して、統合画像座標値を求め、
前記統合画像座標値に基づいて、既に蓄積されている統合画像に前記撮像画像の貼り合わせ合成を行う、
ことを特徴とする請求項20記載の画像処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP02744899A JP4374468B2 (ja) | 1999-02-04 | 1999-02-04 | 画像処理装置及び画像処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP02744899A JP4374468B2 (ja) | 1999-02-04 | 1999-02-04 | 画像処理装置及び画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2000222554A JP2000222554A (ja) | 2000-08-11 |
JP4374468B2 true JP4374468B2 (ja) | 2009-12-02 |
Family
ID=12221411
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP02744899A Expired - Lifetime JP4374468B2 (ja) | 1999-02-04 | 1999-02-04 | 画像処理装置及び画像処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4374468B2 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7125122B2 (en) | 2004-02-02 | 2006-10-24 | Sharp Laboratories Of America, Inc. | Projection system with corrective image transformation |
US7835592B2 (en) * | 2006-10-17 | 2010-11-16 | Seiko Epson Corporation | Calibration technique for heads up display system |
JP5239991B2 (ja) * | 2009-03-25 | 2013-07-17 | 富士通株式会社 | 画像処理装置、及び画像処理システム |
CN109242956B (zh) * | 2018-08-19 | 2023-05-23 | 雅派朗迪(北京)科技发展股份有限公司 | 3d人体扫描数字建模车 |
CN112215906A (zh) * | 2020-09-04 | 2021-01-12 | 北京迈格威科技有限公司 | 图像处理方法、装置和电子设备 |
-
1999
- 1999-02-04 JP JP02744899A patent/JP4374468B2/ja not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JP2000222554A (ja) | 2000-08-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7291244B2 (ja) | プロジェクタの台形補正方法、装置、システム及び読み取り可能な記憶媒体 | |
JP4832878B2 (ja) | 画像合成処理装置及び方法 | |
JP3925521B2 (ja) | スクリーンの一部の辺を用いたキーストーン補正 | |
CN110099266B (zh) | 投影机画面校正方法、装置及投影机 | |
JP4010754B2 (ja) | 画像処理装置と画像処理方法及びコンピュータ読み取り可能な記録媒体 | |
WO2014069632A1 (ja) | 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体 | |
JP2008187564A (ja) | カメラ校正装置及び方法並びに車両 | |
JPWO2005024723A1 (ja) | 画像合成システム、画像合成方法及びプログラム | |
JP2004274354A (ja) | 画像処理システム、プロジェクタ、プログラム、情報記憶媒体および画像処理方法 | |
JP2020187358A (ja) | 投影システム、投影装置及びその表示画像の校正方法 | |
JP2009230235A (ja) | 画像処理装置及び方法、運転支援システム、車両 | |
JP2002247614A (ja) | プロゼェクタ | |
WO2016204068A1 (ja) | 画像処理装置および画像処理方法、ならびにプロジェクションシステム | |
JP2011139368A (ja) | 撮像装置の制御装置および制御方法 | |
JP2001169211A (ja) | 映像投影装置およびその歪補正方法 | |
JP2004015205A (ja) | マルチプロジェクションシステム及びマルチプロジェクションシステムにおける補正データ取得方法 | |
JP2019125943A (ja) | 表示制御装置、画像投影システム、制御方法およびプログラム。 | |
CN114727081A (zh) | 投影仪投影校正方法、装置及投影仪 | |
JPH10155109A (ja) | 撮像方法及び装置並びに記憶媒体 | |
JP4415101B2 (ja) | 画像投影装置及び画像投影方法 | |
JP2004342067A (ja) | 画像処理方法、画像処理装置、及びコンピュータプログラム | |
JP4374468B2 (ja) | 画像処理装置及び画像処理方法 | |
JP5540493B2 (ja) | 投写光学系に対する投写面の位置または傾きの測定方法、その測定方法を用いる投写画像の画像処理方法およびその画像処理方法を実行するプロジェクタ、投写光学系に対する投写面の位置または傾きを測定するプログラム | |
JP2003348500A (ja) | 投射画像の調整方法、画像投射方法および投射装置 | |
JP2004228619A (ja) | プロジェクタの映像の歪み調整方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20040513 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20040517 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20040827 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20040827 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060130 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20060130 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060406 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090327 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090414 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090609 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090804 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090821 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120918 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130918 Year of fee payment: 4 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |