JP4260634B2 - 画像変換方法及び装置、画像認識装置、ロボット制御装置並びに画像投影装置 - Google Patents

Description

本発明は、画像変換方法及び装置、画像認識装置、ロボット制御装置並びに画像投影装置に係り、特に撮像装置により撮像された画像情報を変換して位置座標を求める画像変換方法及び装置、この画像変換方法により求めた位置座標に基づいて画像を認識する画像認識装置、この画像認識装置を用いるロボット制御装置並びにこの画像変換方法を用いる画像投影装置に関する。

ロボットを用いて部品や装置等を組み立てる場合には、ロボットのアームやハンド等の各部の動きを正確に制御する必要がある。例えば基板に部品を実装する場合、ロボットのハンドの基板に対する位置は、ハンドに設けられたカメラで撮像された画像に基づいて検出することができる。しかし、ハンドの動きが複雑になると、カメラは基板面に対して常に垂直な方向で画像を撮像することができない。ハンドは、例えば基板の外側から基板面に対して斜めの方向から基板面上に移動されることもある。このような場合、基板面に対して斜めの方向から撮像された画像に基づいて、画像中の各種形状や、基板面上のハンドの位置を正確に検出することは難しい。これは、カメラの光軸と基板面とがなす角度が常に一定ではないからである。

基板面上に目印を付けておき、撮像された画像中の目印を基準として利用することで、画像中の各種形状の検出精度や、ハンドの位置検出精度をある程度は向上することができる。しかし、画像中の各種形状の検出精度や、ハンドの位置検出精度を向上するためには、目印の数を多くする必要があるが、基板上に実装される部品の数や大きさによっては、設けられる目印の数が限られてしまうと共に、実装される部品により目印が見えなくなってしまう。

撮像された画像中の各種形状の検出精度が低いと、撮像された画像を用いた画像認識の精度が低下してしまう。又、撮像された画像中の各種形状の検出精度やハンドの位置検出精度が低いと、基板上に実装される部品の実装位置精度が低下してしまうと共に、ハンドを移動中に基板や基板上の部品等にハンドが衝突してしまうこともある。このため、撮像された画像中の各種形状の検出精度及びハンドの位置検出精度の向上、即ち、撮像された画像中の位置座標を正確に検出することが望まれている。

他方、プロジェクタ等の画像投影装置では、画像をスクリーン等に投影するが、画像投影装置の光軸がスクリーンに対して垂直になるように画像投影装置を設置することは難しく、スペース的な制約のため不可能である場合もある。画像投影装置の光軸がスクリーンに対して斜めであると、スクリーンに投影される画像は、本来は長方形であるものであれば、台形に歪んでしまう。このようにスクリーン上の画像が歪んでしまうと、画質が低下してしまい、画像も見にくくなってしまう。

従来、スクリーン上の画像の上下方向の歪みを、所謂台形補正により長方形の画像に補正する方式が提案されている。又、スクリーン上の画像の左右方向の歪みを、所謂台形補正により長方形の画像に補正する方式が提案されている。後者の方式は、例えばソニー社製のサイドショット・プロジェクタＶＰＬ−ＨＳ１（商品名「シネザ」）にて採用されている。

しかし、従来の台形補正を用いる方式は、画像投影装置の光軸がスクリーンに対して上下方向及び左右方向の両方に任意の角度だけ傾いている場合、即ち、任意の投影角度の場合には対応できないため、スクリーン上の画質の向上には限界があった。

本発明は、上記の問題を解決し得る新規、且つ、有用な画像変換方法及び装置、画像認識装置、ロボット制御装置並びに画像投影装置を提供することを概括的目的とする。

本発明のより具体的な第１の目的は、撮像された画像を、撮像角度に拘わらず撮像された画像中の位置座標を正確に検出可能な画像に変換可能な画像変換方法及び装置、この画像変換方法により求めた位置座標に基づいて画像を認識する画像認識装置、及びこの画像認識装置を用いるロボット制御装置を提供することにある。

本発明のより具体的な第２の目的は、投影角度や見る角度に拘わらず投影画像中又はディスプレイの表示画像中の歪みの発生を防止可能な画像投影装置を提供することにある。

本発明の他の目的は、コンピュータにより画像変換処理を行う画像変換方法であって、基準面に対して光軸が任意の角度傾いた撮像手段により撮像した撮像画像を、該基準面に対して光軸が垂直な状態の撮像手段により撮像した撮像画像と実質的に等価な画像に変換する座標変換ステップと、変換後の座標値に対応した輝度値として、変換前座標の輝度値を代入する輝度値代入ステップとを含むことを特徴とする画像変換方法を提供することにある。本発明によれば、上記第１の目的を達成することができる。

前記座標変換ステップは、該撮像手段の光軸の該基準面に対して垂直な軸に対する傾き角度をα、該光軸を該基準面に投影した場合の直線が、該基準面の基準軸（ｘ軸）となす角度をβ、該撮像画像上での該撮像手段の傾き方向が、該画像上の基準軸（Ｘ軸）となす角度をγ、該撮像画像上の座標を（Ｘ，Ｙ）、該基準面上の座標を（ｘ，ｙ）とすると、
次式を用いて−β回転処理を行い、座標（ｘ，ｙ）を座標（ｘ’，ｙ’）に回転するステップと、

次式を用いて傾きの変換処理を行い、座標（Ｘ’，Ｙ’）に変換するステップと、

次式を用いてγ回転処理を行い、座標（Ｘ，Ｙ）に回転するステップとを含み、

前記各式を順次計算することで、変換後の画像の座標（ｘ，ｙ）の、変換前の対応する座標（Ｘ，Ｙ）を求めるようにしても良い。

更に、前記座標変換ステップは、前記基準面上の隣り合う画素の距離をｄｐ、前記撮像画像上の画素の座標を（Ｉ’，Ｊ’）とし、変換後の座標を（ｉ，ｊ）とし、夫々の画像の中心を（Ｉ_０，Ｊ_０），（ｉ_０，ｊ_０）とすると、
次式を用いて−β回転処理を行い、座標（ｘ，ｙ）を座標（ｘ’，ｙ’）に回転するステップと、

次式を用いて傾きの変換処理を行い、座標（Ｘ’，Ｙ’）に変換するステップと、

次式を用いてγ回転処理を行い、座標（Ｘ，Ｙ）に回転するステップと、

次式を用いて逆変換処理を行い、座標（Ｉ’，Ｊ’）に逆変換するステップとを含み、

前記各式を順次計算することで、変換後の画像の座標（ｉ，ｊ）の、変換前の対応する座標（Ｉ’，Ｊ’）を求めるようにしても良い。

前記輝度値代入ステップは、座標（Ｉ’，Ｊ’）の近傍にある４つの実在する画素の座標を（Ｉ，Ｊ），（Ｉ＋１，Ｊ），（Ｉ，Ｊ＋１），（Ｉ＋１，Ｊ＋１）とすると、[ ]はガウス記号を示すものとするとＩ，Ｊを次式

で求め、
元画像の輝度値をＰ（Ｉ，Ｊ）、変換後の輝度値をｐ（ｉ，ｊ）とすると、近傍の４画素の画素値の重み付け平均を、次式

ｐ（ｉ，ｊ）＝（１＋Ｊ−Ｊ’）｛（１＋Ｉ−Ｉ’）Ｐ（Ｉ，Ｊ）＋（Ｉ’−Ｉ）Ｐ（Ｉ＋１，Ｊ）｝＋（Ｊ’−Ｊ）｛（１＋Ｉ−Ｉ’）Ｐ（Ｉ，Ｊ＋１）＋（Ｉ’−Ｉ）Ｐ（Ｉ＋１，Ｊ＋１）｝

で求めるようにしても良い。

本発明の更に他の目的は、基準面に対して光軸が任意の角度傾いた撮像手段により撮像した撮像画像を、該基準面に対して光軸が垂直な状態の撮像手段により撮像した撮像画像と実質的に等価な画像に変換する座標変換手段と、変換後の座標値に対応した輝度値として、変換前座標の輝度値を代入する輝度値代入手段とを備えたことを特徴とする画像変換装置を提供することにある。本発明によれば、上記第１の目的を達成することができる。

前記座標変換手段は、該撮像手段の光軸の該基準面に対して垂直な軸に対する傾き角度をα、該光軸を該基準面に投影した場合の直線が、該基準面の基準軸（ｘ軸）となす角度をβ、該撮像画像上での該撮像手段の傾き方向が、該画像上の基準軸（Ｘ軸）となす角度をγ、該撮像画像上の座標を（Ｘ，Ｙ）、該基準面上の座標を（ｘ，ｙ）とすると、
次式を用いて−β回転処理を行い、座標（ｘ，ｙ）を座標（ｘ’，ｙ’）に回転する手段と、

次式を用いて傾きの変換処理を行い、座標（Ｘ’，Ｙ’）に変換する手段と、

次式を用いてγ回転処理を行い、座標（Ｘ，Ｙ）に回転する手段とを含み、

前記各式を順次計算することで、変換後の画像の座標（ｘ，ｙ）の、変換前の対応する座標（Ｘ，Ｙ）を求める構成であっても良い。

更に、前記座標変換手段は、前記基準面上の隣り合う画素の距離をｄｐ、前記撮像画像上の画素の座標を（Ｉ’，Ｊ’）とし、変換後の座標を（ｉ，ｊ）とし、夫々の画像の中心を（Ｉ_０，Ｊ_０），（ｉ_０，ｊ_０）とすると、
次式を用いて−β回転処理を行い、座標（ｘ，ｙ）を座標（ｘ’，ｙ’）に回転する手段と、

次式を用いて傾きの変換処理を行い、座標（Ｘ’，Ｙ’）に変換する手段と、

次式を用いてγ回転処理を行い、座標（Ｘ，Ｙ）に回転する手段と、

次式を用いて逆変換処理を行い、座標（Ｉ’，Ｊ’）に逆変換する手段とを含み、

前記各式を順次計算することで、変換後の画像の座標（ｉ，ｊ）の、変換前の対応する座標（Ｉ’，Ｊ’）を求める構成であっても良い。

前記輝度値代入手段は、座標（Ｉ’，Ｊ’）の近傍にある４つの実在する画素の座標を（Ｉ，Ｊ），（Ｉ＋１，Ｊ），（Ｉ，Ｊ＋１），（Ｉ＋１，Ｊ＋１）とすると、[ ]はガウス記号を示すものとするとＩ，Ｊを次式

で求め、
元画像の輝度値をＰ（Ｉ，Ｊ）、変換後の輝度値をｐ（ｉ，ｊ）とすると、近傍の４画素の画素値の重み付け平均を、次式

ｐ（ｉ，ｊ）＝（１＋Ｊ−Ｊ’）｛（１＋Ｉ−Ｉ’）Ｐ（Ｉ，Ｊ）＋（Ｉ’−Ｉ）Ｐ（Ｉ＋１，Ｊ）｝＋（Ｊ’−Ｊ）｛（１＋Ｉ−Ｉ’）Ｐ（Ｉ，Ｊ＋１）＋（Ｉ’−Ｉ）Ｐ（Ｉ＋１，Ｊ＋１）｝

で求める構成であっても良い。

本発明の他の目的は、上記いずれか記載の画像変換装置から出力される変換後の画像に基づいて画像認識処理を行う画像認識手段を備えたことを特徴とする画像認識装置を提供することにある。本発明によれば、上記第１の目的を達成することができる。

本発明の他の目的は、上記画像認識装置から出力される画像認識結果に基づいてロボットの動作を制御する制御手段を備えたことを特徴とするロボット制御装置を提供することにある。本発明によれば、上記第１の目的を達成することができる。

本発明の他の目的は、スクリーンに対して光軸が任意の角度傾いた画像投影手段により投影する画像を、該スクリーンに対して光軸が垂直な状態の画像投影手段により投影した投影画像と実質的に等価な画像に変換する座標変換手段と、変換後の座標値に対応した輝度値として、変換前座標の輝度値を代入する輝度値代入手段とを備えたことを特徴とする画像投影装置を提供することにある。本発明によれば、上記第２の目的を達成することができる。

前記座標変換手段は、該撮像手段の光軸の該スクリーンに対して垂直な軸に対する傾き角度をα、該光軸を該スクリーンに投影した場合の直線が、該スクリーンの基準軸（ｘ軸）となす角度をβ、該投影画像上での該撮像手段の傾き方向が、該画像上の基準軸（Ｘ軸）となす角度をγ、該投影画像上の座標を（Ｘ，Ｙ）、該スクリーン上の座標を（ｘ，ｙ）とすると、
次式を用いて−γ回転処理を行い、座標（Ｘ’，Ｙ’）を求める手段と、

次式を用いて傾きの変換処理を行い、座標（ｘ’，ｙ’）に変換する手段と、

次式を用いてβ回転処理を行い、座標（ｘ，ｙ）に回転する手段とを含み、

前記各式を順次計算することで、変換後の画像の座標（Ｘ，Ｙ）の、変換前の対応する座標（ｘ，ｙ）を求める構成であっても良い。

更に、前記座標変換手段は、前記スクリーン上の隣り合う画素の距離をｄｐ、前記投影画像上の画素の座標を（Ｉ’，Ｊ’）とし、変換後の座標を（ｉ，ｊ）とし、夫々の画像の中心を（Ｉ_０，Ｊ_０），（ｉ_０，ｊ_０）とすると、
次式を用いて−γ回転処理を行い、座標（Ｘ，Ｙ）を座標（Ｘ’，Ｙ’）に回転する手段と、

次式を用いて傾きの変換処理を行い、座標（ｘ’，ｙ’）に変換する手段と、

次式を用いてβ回転処理を行い、座標（ｘ，ｙ）に回転する手段と、

次式を用いて逆変換処理を行い、座標（ｉ’，ｊ’）に逆変換する手段とを含み、

前記各式を順次計算することで、変換後の画像の座標（ｉ，ｊ）の、変換前の対応する座標（ｉ’，ｊ’）を求める構成であっても良い。

前記輝度値代入手段は、座標（ｉ’，ｊ’）の近傍にある４つの実在する画素の座標を（ｉ，ｊ），（ｉ＋１，ｊ），（ｉ，ｊ＋１），（ｉ＋１，ｊ＋１）とすると、[ ]はガウス記号を示すものとするとｉ，ｊを次式

で求め、
元画像の輝度値をＰ（ｉ，ｊ）、変換後の輝度値をｐ（Ｉ，Ｊ）とすると、近傍の４画素の画素値の重み付け平均を、次式

ｐ（Ｉ，Ｊ）＝（１＋ｊ−ｊ’）｛（１＋ｉ−ｉ’）Ｐ（ｉ，ｊ）＋（ｉ’−ｉ）Ｐ（ｉ＋１，ｊ）｝＋（ｊ’−ｊ）｛（１＋ｉ−ｉ’）Ｐ（ｉ，ｊ＋１）＋（ｉ’−ｉ）Ｐ（ｉ＋１，ｊ＋１）｝

で求める構成であっても良い。

本発明の他の目的は、コンピュータにより画像変換処理を行う画像変換方法であって、ディスプレイに対して垂直な位置から傾いた位置で該ディスプレイ上に表示される画像を見る場合に、該ディスプレイ上に表示する画像に、該傾いた位置の該ディスプレイに対する角度に応じた画像変換処理を施すステップを含むことを特徴とする画像変換方法を提供することにある。本発明によれば、上記第２の目的を達成することができる。

本発明の他の目的は、コンピュータにより画像変換処理を行う画像変換方法であって、スクリーンに対して垂直な位置から傾いた第１の位置で、該スクリーンに対して垂直な位置から傾いた第２の位置の画像投影装置から該スクリーンに投影された画像を見る場合に、該スクリーンに投影される画像に、該第１の位置の該ディスプレイに対する角度と、該第２の位置の該ディスプレイに対する角度に応じた画像変換処理を施すステップを含むことを特徴とする画像変換方法を提供することにある。本発明によれば、上記第２の目的を達成することができる。

本発明の更に他の目的及び特長は、以下図面と共に述べる説明より明らかとなろう。

本発明によれば、撮像された画像を、撮像角度に拘わらず撮像された画像中の位置座標を正確に検出可能な画像に変換可能な画像変換方法及び装置、この画像変換方法により求めた位置座標に基づいて画像を認識する画像認識装置、及びこの画像認識装置を用いるロボット制御装置を実現できる。

又、本発明によれば、投影角度や見る角度に拘わらず投影画像中又はディスプレイの表示画像中の歪みの発生を防止可能な画像投影装置を実現できる。

本発明になるロボット制御装置の一実施例を示すブロック図である。 ロボットの要部を示す図である。 初期状態におけるカメラと基準面との関係を示す図である。 カメラを基準面のｘ軸の正方向に傾けた状態を示す図である。 基準面上の点のｘ方向の移動を説明する図である。 基準面上の点のｙ方向の移動を説明する図である。 カメラの基準面に対する傾き方向を説明する図である。 カメラの撮像画像上での傾き方向を説明する図である。 撮像画像の座標を説明する図である。 座標（Ｉ’，Ｊ’）の近傍にある４つの実在する画素の座標を示す図である。 画像変換部の動作を説明するフローチャートである。 輝度値代入処理を説明するフローチャートである。 ハンドを傾ける場合を説明する図である。 複数のハンドを傾ける場合を説明する図である。 画像変換処理を説明する図である。 画像投影装置によりスクリーンに投影された画像の歪みを説明する図である。 画像投影装置に適用可能な逆の画像変換処理を説明する図である。 画像投影装置がスクリーンの右側に傾いている場合を説明する図である。 画像投影装置がスクリーンの上側に傾いている場合を説明する図である。 画像投影装置の一実施例の構成を示すブロック図である。 スクリーンに投影される画像を説明する図である。 ３個のモータによりハンドがアームに対して駆動される場合を示す図である。 ベクトルの関係を説明する図である。 画像投影装置がスクリーンに対して上向きに角度θｘ傾いており、且つ、右向きに角度θｙ傾いている場合を説明する図である。 図２４の場合の各角度の関係を説明する図である。 画像投影装置、スクリーン及び人間の目の位置の関係を説明する図である。

以下、本発明になる画像変換方法及び装置、画像認識装置、ロボット制御装置並びに画像投影装置の各実施例を、図面と共に説明する。

図１は、本発明になるロボット制御装置の一実施例を示すブロック図である。ロボット制御装置の本実施例は、本発明になる画像変換方法の一実施例、本発明になる画像変換装置の一実施例、及び本発明になる画像認識装置の一実施例を採用する。

図１に示すロボット制御装置は、制御部１、画像変換部２、画像認識部３及び計測器４からなる。カメラ１３及びモータ群２０は、図２と共に後述するロボットに設けられている。制御部１は、ＣＰＵ等のプロセッサと、プロセッサが実行するコンピュータプログラムや演算の中間結果等の各種データを格納するメモリとからなる、周知のハードウェア構成を有する。メモリは、制御部１に外付けされていても良く、ディスク装置等の記憶装置やＲＡＭ等の半導体記憶装置等で構成可能である。制御部１は、ロボット制御装置全体の動作を制御する。後述するように、画像変換部２は、カメラ１３により撮像された画像を、画像中の位置座標を正確に検出可能な画像に変換する。画像認識部３は、画像変換部２により変換された画像に基づいて、撮像された画像の認識を行う。画像認識部３自体は周知の構成及びアルゴリズムを用いるもので良いが、画像変換部２により変換された画像に基づいて画像認識を行うところに特徴がある。計測器４は、ロボットにより検出される電流や電圧等の計測を行う。制御部１は、計測器４により計測された電流や電圧等に基づいて、図２に示す対象物３２に対する各種試験を行う。制御部１は、カメラ１３からの入力に対する画像変換部２及び画像認識部３の出力に基づいて、モータ群２０を構成する各モータを制御して、図２に示すステージ３１上の対象物３２に対するロボットの各部の動きを制御する。

画像変換部２は、画像変換方法の本実施例を採用する、画像変換装置の本実施例を構成する。又、画像認識部３は、画像変換部２と共に、画像認識装置の本実施例を構成する。

図２は、ロボットの要部を示す図である。ロボットは、アーム１１、ハンド１２、カメラ１３、ピン１４、及びモータ２１，２２，２３からなる。アーム１１は、任意の方向に移動可能な周知の構成を有する。モータ２１，２２，２３は、モータ群２０を構成しており、アーム１１に対してハンド１２を任意の方向に移動可能である。モータ２１はハンド１２を角度θ１の範囲で駆動し、モータ２２はハンド１２を角度θ２の範囲で駆動し、モータ２３はハンド１２を角度θ３の範囲で駆動する。カメラ１３は、ハンド１２の位置を検出するために、ハンド１２側から見た画像を撮像して制御部１へ送る。カメラ１３の種類は特に限定されず、ＣＣＤカメラ等を用いても良い。ピン１４は、ステージ３１上に載置された回路基板等の対象物３２上の電極と接触して、対象物３２に電流や電圧を印加したり、印加した電流や電圧により発生する電流や電圧を検出する。

尚、本実施例では、説明の便宜上、ロボットが対象物３２の試験を行う場合を示すが、ロボットの用途は特に限定されるものではなく、ハンド１２にピン１４の代わりにクランプ等を設けて部品を対象物３２上に取り付けたりすることもできる。要は、ロボットが、カメラ１３等の撮像手段を備え、撮像手段により撮像された画像に基づいて制御される構成であれば良い。

次に、画像変換部２の画像変換処理について説明する。

先ず、カメラ１３を、ステージ３１の上面等の対象となる平面（以下、基準面ＲＰと言う）の原点から、基準面ＲＰに垂直な方向に距離ｌだけ離れており、基準面ＲＰの垂線に平行な位置にある状態を考える。又、カメラ１３が撮像する撮像画像上のｘ軸と、基準面ＲＰ上のｘ軸とが一致するように、カメラ１３を基準面ＲＰと平行に回転して位置を調整してから位置を固定する。図３は、この初期状態におけるカメラ１３と基準面ＲＰとの関係を示す図である。

図４は、図３に示す初期状態から、カメラ１３を基準面ＲＰのｘ軸の正方向に角度（傾き角度）αだけ傾けた状態を示す図である。この場合に、基準平面ＲＰ上の任意の点（ｘ，ｙ）が撮像画像上でどのように移動するかを考える。カメラ１３を基準面ＲＰに対して傾けることと、基準面ＲＰをカメラ１３に対して逆方向へ傾けることとは等価であるため、説明の便宜上、以下では基準面ＲＰをカメラ１３に対して傾けた場合について説明する。

図５は、基準面ＲＰ上の点のｘ方向の移動を説明する図である。基準面ＲＰ上の点ｘは、基準面ＲＰが角度αだけ傾けられることにより、撮像画像上では、あたかも傾けられる前の元の位置にある基準面ＲＰの点Ｘに移動したかのように見える。従って、図５においてカメラ１３と点Ｘとを結ぶ仮想線と、ｚ軸とのなす角度θは、次の２つの式を満足する。

ｔａｎθ＝Ｘ／ｌ

ｔａｎθ＝ｘｃｏｓα／（ｌ−ｘｓｉｎα）

これらの式からＸとｘとの関係を求めると、次式（１）が得られる。

Ｘ＝（ｌｘｃｏｓα）／（ｌ−ｘｓｉｎα） 式（１）

上記式（１）に対して以下に示す如き変換を行うと、逆変換式（２）が得られる。

Ｘ（ｌ−ｘｓｉｎα）＝ｌｘｃｏｓα

ｘ（ｌｃｏｓα＋Ｘｓｉｎα）＝Ｘｌ

ｘ＝Ｘｌ／（ｌｃｏｓα＋Ｘｓｉｎα） 式（２）

図６は、基準面ＲＰ上の点のｙ方向の移動を説明する図である。基準面ＲＰ上の点ｙは、基準面ＲＰが角度αだけ傾けられることにより、撮像画像上では、あたかも傾けられる前の元の位置にある基準面ＲＰの点Ｙに移動したかのように見える。従って、図６においてカメラ１３と点Ｙとを結ぶ仮想線と、ｚ軸とのなす角度（傾き方向）βは、次の２つの式を満足する。

ｔａｎβ＝Ｙ／ｌ

ｔａｎβ＝ｙ／（ｌ−ｘｓｉｎα）

これらの式からＹとｙとの関係を求めると、次式（３）が得られる。

Ｙ＝ｌｙ／（ｌ−ｘｓｉｎα） 式（３）

上記式（３）に対して以下に示す如き変換を行い、上記逆変換式（２）を代入すると、逆変換式（４）が得られる。

ｌｙ＝Ｙ（ｌ−ｘｓｉｎα）

ｌｙ＝Ｙ｛ｌ−（Ｘｌｓｉｎα）／（ｌｃｏｓα＋Ｘｓｉｎα）｝

ｙ＝Ｙ｛ｌｃｏｓα／（ｌｃｏｓα＋Ｘｓｉｎα）｝ 式（４）

上記式（１），（２）は次式（５）に、上記式（３），（４）は次式（６）の如き式にまとめることができる。

上記変換式（５），（６）は、カメラ１３の傾き方向と、基準面ＲＰのｘ軸と撮像画像上のｘ軸とが一致している場合を想定しているため、これらが一致していない場合の一般解に変換式（５）又は（６）を変換する。ここで、カメラ１３の傾き方向を、基準面ＲＰに対しては図７に示すようにβ、撮像画像上では図８に示すようにγとする。

撮像画像上の座標（Ｘ，Ｙ）を、基準面ＲＰ上の座標（ｘ，ｙ）に変換式（６）を用いて変換するためには、カメラ１３の傾きの方向が０度（即ち、Ｘ軸の正の方向）でなければならないので、次式（７）に示すように、（Ｘ，Ｙ）に対して−γの回転処理を行う。

上記（Ｘ’，Ｙ’）空間では、カメラ１３がＸ’軸の正方向に傾いているとみなせるので、変換式（６）の適用が可能である。従って、傾きの変換は、次式（８）のように行える。

ここで、上記式（８）の左辺の（ｘ’，ｙ’）空間は、本来の（ｘ，ｙ）空間ではなく、角度βだけ回転した座標系である。座標系を本来の（ｘ，ｙ）座標系に戻すためには、次式（９）で示すように、座標系の−β回転処理、即ち、座標の＋β回転処理が必要となる。

従って、上記式（７）〜式（９）を順次適用することで、（Ｘ，Ｙ）座標系を（ｘ，ｙ）座標系に変換することができる。

ところで、上記の説明では、撮像画像上の座標を連続な値とみなし、且つ、基準面ＲＰとの縮尺が１：１であると仮定している。しかし、扱う撮像画像がデジタル画像データで表される場合、撮像画像は画素（ピクセル）のかたまりで表現され、画像データは画素データにより構成される。

例えば、１つの撮像画像が６４０×４８０画素の２次元配列で表され、隣り合う画素に対応する実際の基準面ＲＰ上の距離がｄｐで表されるものとする。この場合、図９に示すように撮像画像の座標を（Ｉ，Ｊ）とすると、ｊが通常のＹ軸と向きが逆に定義されていることと、撮像画像の中心が（３１９．５，２３９．５）であることを考慮すると、点（Ｘ，Ｙ）に対応する画素座標（Ｉ，Ｊ）は次式（１０）で表される。

同様にして、点（ｘ，ｙ）に対応する画素座標（ｉ’，ｊ’）は、次式（１１）で表される。ただし、ｉ’，ｊ’は、整数とは限らない実数である。

従って、上記式（１０）→式（７）→式（８）→式（９）→式（１１）の逆変換を順次行うことで、座標系（Ｉ，Ｊ）を座標系（ｉ’，ｊ’）に変換することができる。このような変換の結果を、元の画像と同じ画素が格子状の画像にするためには、ｉ，ｊを整数として点（ｉ，ｊ）の近傍にある点（ｉ’，ｊ’）の画素値、即ち、点（Ｉ，Ｊ）の画素値を採用すれば良い。画素が格子状の画像の精度を向上させるに、近傍にある複数の点の画素値の重み付け平均を求めることが考えられるが、そのような計算を行うことは困難である。

そこで、上記の変換とは逆の変換、即ち、（ｉ，ｊ）座標系から（Ｉ’，Ｊ’）座標系への変換を行い、点（Ｉ’，Ｊ’）近傍の４点の重み付け平均を点（ｉ，ｊ）の画素値とすることで、画素が格子状の画像の精度を向上させることができる。この場合、式（１１）は、整数ｉ，ｊで表すことになるので、点（ｘ，ｙ）に対応する画素座標（ｉ，ｊ）は、次式（１１Ａ）で表される。

上記式（１１Ａ），式（９）の逆変換から、−β回転は次式（１２）で表される。

上記式（８）の逆変換は、式（５）を使って次式（１３）のようになり、傾きの変換を行うことができる。

上記式（７）の逆変換から、γ回転は次式（１４）で表される。

又、上記式（１０）の逆変換は、次式（１５）で求められる。

式（１２）〜式（１５）を順次計算することで、変換後の画像の座標（ｉ，ｊ）の、変換前の対応する座標（Ｉ’，Ｊ’）を求めることができる。ここで、Ｉ’，Ｊ’は実数である。この座標（Ｉ’，Ｊ’）の近傍にある４つの実在する画素の座標を図１０に示すように、（Ｉ，Ｊ），（Ｉ＋１，Ｊ），（Ｉ，Ｊ＋１），（Ｉ＋１，Ｊ＋１）とすると、Ｉ，Ｊは次式（１６）で求めることができる。式（１６）中、[ ]はガウス記号を示す。

この場合、元画像の画素値（輝度値）をＰ（Ｉ，Ｊ）、変換後の画素値（輝度値）をｐ（ｉ，ｊ）とすると、近傍の４画素の画素値の重み付け平均は、次式（１７）で表すことができる。

ｐ（ｉ，ｊ）＝（１＋Ｊ−Ｊ’）｛（１＋Ｉ−Ｉ’）Ｐ（Ｉ，Ｊ）＋（Ｉ’−Ｉ）Ｐ（Ｉ＋１，Ｊ）｝＋（Ｊ’−Ｊ）｛（１＋Ｉ−Ｉ’）Ｐ（Ｉ，Ｊ＋１）＋（Ｉ’−Ｉ）Ｐ（Ｉ＋１，Ｊ＋１）｝ 式（１７）

式（１２）〜式（１５）は一般解であるが、カメラ１３の傾き方向が０度（又は１８０度）の場合や、９０度（又は２７０度）の場合には、式を簡略化することができる。カメラ１３の傾き方向が０度（又は１８０度）の場合には、β＝０なので、式（１２）の代わりに次式（１２Ａ）を使用することができる。又、基準面ＲＰに対して光軸が垂直なカメラ１３を単純に＋ｘ方向又は−ｘ方向に傾けた場合に、カメラ１３の光軸回りの回転がなければ、γ＝０となり、式（１４）は簡略化できる。

又、カメラ１３の傾き方向が９０度（又は２７０度）の場合には、式（１３）のｘ，ｙを入れ替えることで、０度（又は１８０度）と同様に扱え、式を簡略化できる。具体的には、式（１２）の代わりに上記式（１２Ａ）を使用し、式（１３）の代わりに次式（１３Ａ）を使用することができる。又、上記と同様に、更に単純なケースγ＝０では、式（１４）を簡略化することができる。

図１１は、画像変換部２の動作を説明するフローチャートである。同図に示す処理は、画像変換部２を構成するプロセッサ等からなる専用のハードウェアで実行しても、制御部１を構成するプロセッサにより画像変換部２の機能を実現するソフトウェアで実行しても良い。

図１１において、ステップＳ１は、カメラ１３により撮像された画像の画像データを取り込み、例えば制御部１内のメモリに一時的に格納する。ステップＳ２は、上記パラメータα，β，γ，ｌを取得する。パラメータ（角度）α，β，γは、後述する方法で求めることができる。又、カメラ１３の光軸がステージ３１等の基準面ＲＰに対して垂直となる基準位置に対する基準距離ｌ_ｒｅｆを予め設定しておけば、この基準距離ｌ_ｒｅｆからの移動量に基づいてパラメータ（距離）ｌを求めることができる。ステップＳ３は、ｉ及びｊを夫々ｉ＝０，ｊ＝０に初期設定する。

ステップＳ４〜Ｓ６は、点（ｉ，ｊ）から点（Ｉ’，Ｊ’）への座標変換処理を行う。具体的には、ステップＳ４は、上記式（１２）を用いて−β回転処理を行い、ステップＳ５は、上記式（１３）を用いて傾きの変換処理を行い、ステップＳ６は、上記式（１４）を用いてγ回転処理を行う。

ステップＳ７は、輝度値代入処理を行う。図１２は、ステップＳ７の輝度値代入処理を説明するフローチャートである。図１１に示すステップＳ４〜Ｓ６による座標変換処理の結果が（Ｉ’，Ｊ’）であるものとすると、図１２に示すステップＳ７１は、０≦Ｉ’＜６３９であるか否かを判定する。ステップＳ７１の判定結果がＹＥＳであると、ステップＳ７２は、０≦Ｊ’＜４３９であるか否かを判定する。ステップＳ７１又はステップＳ７２の判定結果がＮＯであると、ステップＳ７３は、Ｐ（ｉ，ｊ）をＰ（ｉ，ｊ）＝０に設定し、処理は図１１に示すステップＳ８へ進む。他方、ステップＳ７２の判定結果がＹＥＳであると、ステップＳ７４は、上記式（１６）及び式（１７）の計算を行い、処理はステップＳ８へ進む。

図１１の説明に戻ると、ステップＳ８は、ｉをｉ＝ｉ＋１にインクリメントし、ステップＳ９は、ｉ＝６４０であるか否かを判定する。ステップＳ９の判定結果がＮＯであると、処理はステップＳ４へ戻る。他方、ステップＳ９の判定結果がＹＥＳであると、ステップＳ１０は、ｉをｉ＝０に設定する。ステップＳ１１は、ｊをｊ＝ｊ＋１にインクリメントし、ステップＳ１２は、ｊ＝４８０であるか否かを判定する。ステップＳ１２の判定結果がＮＯであると、処理はステップＳ４へ戻る。ステップＳ１２の判定結果がＹＥＳであると、ステップＳ１３は、変換画像の画像データ、即ち、変換画像データを出力し、処理は終了する。変換画像データは、例えば制御部１内のメモリに格納されて、画像認識部３による画像認識に使用される。

上記の如く、画像認識部３自体は周知の構成及びアルゴリズムを用いるもので良いが、画像変換部２により変換された変換画像データに基づいて画像認識を行うところに特徴がある。変換画像データに基づいて、例えばパターンマッチングやテンプレートマッチングを画像認識部３において行うことで、対象物３２に対するハンド１２、即ち、本実施例ではピン１４の位置を、正確に求めることができる。従って、図１３に簡略化して示すように、ハンド１２が対象物３２上の障害物３２Ａに衝突しないように、ハンド１２を傾けて先端を対象物３２の例えば電極上に移動することも可能となる。又、図１４に簡略化して示すように、ハンド１２が複数ある場合に、ハンド１２を傾けてハンド１２同士の干渉を避けることも可能となる。

ところで、上記の如き画像変換処理では、カメラ１３が基準面ＲＰに対して傾いた状態で撮像された画像を、あたかも基準面ＲＰに対して垂直な位置から撮像したと仮定した場合の変換画像に変換している。従って、元の平面上の形状が図１５（ａ）に示すように長方形である場合、カメラ１３で撮像された画像中の形状は図１５（ｂ）に示すように台形となるが、画像変換処理後の画像中の形状は図１５（ｃ）に示すように長方形になり、正確な画像認識処理が可能となる。

従って、上記画像変換処理とは逆の画像変換処理を行うことで、本発明をプロジェクタ等の画像投影装置にも適用することができる。例えば、画像投影装置が、その光軸がスクリーンに対して垂直となる位置に設置されていないと、本来スクリーン上に投影されるべき図１６（ａ）に示す長方形の画像が、図１６（ｂ）に示すような台形の画像となってしまう。図１６（ｂ）に示す台形の画像では、歪みが発生しており、画質の低下が著しいため非常に見にくい。そこで、上記の画像変換処理とは逆の画像変換処理を行うことで、元の画像が図１７（ａ）に示すように長方形である場合、図１５（ｂ）に示すように台形の画像に変換してスクリーンに投影することにより、スクリーン上に投影される画像は図１７（ｃ）に示すように長方形になり、歪みのない高画質の画像をスクリーン上に投影することが可能となる。

逆の画像変換処理を、以下に説明する。逆の画像変換処理の場合、上記式（７）〜式（９）の代わりに、次式（１８）を用いて−β回転処理を行い、次式（１９）を用いて傾きの変換（逆変換）処理を行い、次式（２０）を用いてγ回転処理を行う。尚、画像投影装置は、スクリーン（基準面ＲＰ）に垂直な方向に距離ｌだけ離れている状態から傾いているものとする。

このような逆の画像変換を行う場合にも、扱う画像がデジタル画像データで表される場合、画像は画素（ピクセル）のかたまりで表現され、画像データは画素データにより構成される。従って、上記画像変換処理の場合と同様に逆向きの計算を行い、元の画像の対応する画素の近傍の４画素の画素値の重み付け平均を求めれば良い。

例えば、次式（２１）を用いて−γ回転処理を行い、次式（２２）を用いて傾きの変換処理を行い、次式（２３）を用いてβ回転処理を行い、次式（２４）を用いて画素（ピクセル）座標への変換処理を行い、次式（２５）を用いて整数化処理を行い、次式（２６）を用いて画素値設定処理を行うことができる。

上記式（２１）〜式（２６）を順次計算することで、６４０×４８０画素で構成される画像に対する逆の画像変換処理を行うことができる。

画像投影装置の場合、画像投影装置の光軸がスクリーンに対してスクリーンの上下方向又は左右方向の一方にのみ傾いているのであれば、計算を簡略化することができる。

例えば、図１８に示すように、画像投影装置３１がスクリーン３２の右側に角度αだけ傾いている場合には、上記式（２１）〜式（２６）においてβ＝γ＝０とすることができるので、式（２１）〜式（２４）の代わりに、次式（２１Ａ），（２２），（２４Ａ）を計算すれば良いことになる。尚、画像投影装置３１がスクリーン３２の左側に角度αだけ傾いている場合には、αの値を負に設定することで、次式（２１Ａ），（２２Ａ），（２４Ａ）を計算すれば良いことになる。尚、式（２２Ａ）は式（２２）と同じである。

例えば、図１９に示すように、画像投影装置３１がスクリーン３２の上側に角度αだけ傾いている場合には、上記式（２１）〜式（２６）においてβとγの変換を省略するために、傾きの変換処理に用いる式のｘとｙを入れ替える必要がある。つまり、式（２１）〜式（２４）の代わりに、次式（２１Ｂ），（２２Ｂ），（２４Ｂ）を計算すれば良いことになる。尚、画像投影装置３１がスクリーン３２の下側に角度αだけ傾いている場合には、αの値を負に設定することで、次式（２１Ｂ），（２２Ｂ），（２４Ｂ）を計算すれば良いことになる。尚、式（２４Ｂ）は式（２４Ａ）と同じである。

図２０は、本発明になる画像投影装置の一実施例の構成を示すブロック図である。同図中、画像投影装置３１は、画像変換部３１１、画像生成部３１２及び画像投影部３１３からなる。画像変換部３１１には、テレビジョンチューナから出力された画像データ、カメラ等の撮像手段から出力された画像データ、再生装置により記録媒体から再生された画像データ、画像読み取り装置により読み取られた画像の画像データ等が入力される。画像変換部３１１は、入力画像データに対して、上記の如く、パラメータα，β，γに基づいて図１に示す画像変換部２とは逆の画像変換処理を行う。画像生成部３１２は、画像変換部３１１から出力される変換画像データに基づいて画像を生成する。画像投影部３１３は、画像生成部３１２から出力される画像をスクリーン３２に投影する光学系を含む。画像生成部３１２及び画像投影部３１３には、夫々周知の構成の画像生成部及び画像投影部を使用し得る。

図１に示す画像変換部２で行う画像変換処理及び図２０に示す画像変換部３１１で行う逆の画像変換処理では、変換前と変換後の画像の画素数が同じである場合、変換後の画像では、変換前の画像の周辺部の一部が画像領域からはみ出してしまうことがある。画像変換部２において画像変換処理を行った画像に基づいて画像認識処理を行う場合には、画像の周辺部に認識対象物がなければ特に問題は生じない。他方、画像変換部３１１において画像変換処理を行った画像をスクリーンに投影する場合には、投影画像が例えば任意単位で３×４又は９×１６といった本来の長方形にならないので、投影画像が多少見にくくなる。

図２１は、画像投影装置３１がスクリーン３２の右側から変換後の画像を投影する場合に、スクリーン３２に投影される画像を説明する図である。図２１（ａ）は、元の画像を示し、図２１（ｂ）は、画像変換処理を行わない場合にスクリーン３２に投影される画像を示す。図２１（ｃ）は、変換後の画像を示し、画像領域からはみ出した元の画像の周辺部分が破線で示されている。このような変換後の画像をスクリーン３２に投影すると、図２１（ｄ）に示すような画像が投影され、破線で示すように、元の画像の周辺部分が投影されない。β，γが任意の角度では、更に回転が加わり、投影されない部分はより複雑である。

このような場合には、以下のいずれかの方法により、変換後の画像を見やすくすることができる。第１の方法では、変換前の画像の画素数より、変換後の画像の画素数を大きく設定する。例えば、変換前の画像の画素数が６４０×４８０であると、変換後の画像の画素数を１０２４×１０２４に設定する。第２の方法では、変換前の画像を一旦縮小し、周辺部分に余白を設けた状態で画像変換処理を行う。これにより、変換後の画像領域からはみ出した周辺部分は余白のみとなり、元の画像の情報は全て変換後の画像に含まれる。

次に、上記パラメータ（角度）α，β，γの求め方について説明する。カメラ１３の傾き角度α、カメラ１３の傾き方向β及び撮像画像上のカメラ１３の傾き方向γが求まっていることが、上記画像変換処理を行うための前提条件である。画像投影装置３１の場合は、パラメータ（角度）α，β，γに対する要求精度が比較的緩いので、目測でこれらのパラメータα，β，γを決定することもできる。又、通常は、画像投影装置３１を光軸を中心として回転させて設置することはしないので、γ≒βと仮定することができる。従って、目測又は分度器を使用する等してパラメータα，βを決定すれば良い。尚、厳密に言うと、γとβは等しくないが、略等しいとし近似しても画像投影装置３１における画像変換処理であれば、特に大きな問題は生じない。

他方、変換後の画像を画像認識処理に用いて、例えば目標物の位置を正確に検出する場合等には、僅かな画像の歪みが位置検出精度に大きく影響してしまう。従って、このような場合には、パラメータα，β，γを正確な値に設定することが要求される。そこで、パラメータα，β，γを正確な値に設定するための、パラメータα，β，γの求め方について、以下に説明する。

図２２は、図２に示すロボットの場合のように、３個のモータ２１〜２３によりハンド１２（図示せず）がアーム１１に対して駆動される場合を示す図である。図２２中、図２と同一部分には同一符号を付し、その説明は省略する。

図２２において、カメラ１３の基準位置では角度θ１はｘ軸と平行であり、角度θ２はｙ軸と平行であり、角度θ３はｚ軸と平行である。ここで、角度θ３が基準面ＲＰに対して垂直な位置をホームポジションとする。このホームポジションにおけるカメラ１３の傾き単位ベクトルをＣ＊で表すと、簡単な場合を想定すると、カメラ１３の光軸も基準面ＲＰに対して垂直であるため、次式の関係が成立する。

上記単位ベクトルＣ＊として、任意の向きを許すためにＣ＊を次式（２７）で表す。カメラ１３で撮像された撮像画像上のｙ軸の正方向の単位ベクトルＣ⊥＊は次式（２８）で表す。ここで、単位ベクトルＣ＊とＣ⊥＊は、直交するベクトルである。

単位ベクトルＣ＊，Ｃ⊥＊の向きは、角度θ１，θ２，θ３の値、即ち、モータ２１，２２，２３の回転によって変わる。そこで、新しいベクトルＣ’＊，Ｃ⊥’＊を次式（２９）のように定義すると共に、３×３の行列Ａを次式（３０）のように定義すると、次式（３１）及び（３２）が求まる。

図２３は、ベクトルの関係を説明する図である。同図からもわかるように、角度α，βは、次式（３３）から求めることができる。

α＝ｔａｎ^−１｛（ａ_ｓ ^２＋ｂ_ｓ ^２）^１／２／ｃ_ｓ｝

β＝ｔａｎ^−１（ｂ_ｓ／ａ_ｓ） 式（３３）

角度γについては、以下のように求められる。先ず、傾き方向のベクトル（ｃｏｓβ，ｓｉｎβ，０）と直交し、且つ、ｘｙ平面に平行なベクトルｅ＊＝（−ｓｉｎβ，ｃｏｓβ，０）を考える。このベクトルｅ＊は、ベクトルＣ’＊とも直交するベクトルである。又、ベクトル（ｃｏｓβ，ｓｉｎβ，０）の向きをｘ軸の正方向とみなすと、ベクトルｅ＊の向きはｙ軸の正方向となる。

上記の如く、ベクトルＣ⊥＊の向きは、カメラ１３のｙ軸の正方向と定義されているので、カメラ１３をその光軸の回りを回転させてベクトルＣ⊥’＊がベクトルｅ＊と一致するようにすれば、撮像画像上のｘ軸の正方向は、ベクトルＣ’＊が傾いている方向と一致する。これは、ベクトルＣ’＊とベクトルｅ＊の成す角度がγであることを示し、次式が成立する。

（Ｃ⊥’＊×ｅ＊）・Ｃ’＊＝（ｓｉｎγ・Ｃ’＊）・Ｃ’＊＝ｓｉｎγ

上記式の左辺は、次のように書き換えられるので、ｓｉｎγは次式（３４）により求めることができる。

左辺＝（−ｃ_⊥ｓｃｏｓβｅ_ｘ＊−ｃ_⊥ｓｓｉｎβｅ_ｙ＊−（ａ_⊥ｓｃｏｓβ＋
ｂ_⊥ｓｓｉｎβ）ｅ_ｚ＊）・（ａ_ｓｅ_ｘ＊＋ｂ_ｓｅ_ｙ＊＋ｃ_ｓｅ_ｚ＊）
＝−ａ_ｓｃ_ｓｃｏｓβ−ｂ_ｓｃ_⊥ｓｓｉｎβ＋ｃ_ｓ（ａ_⊥ｓｃｏｓβ＋
ｂ_⊥ｓｓｉｎβ）

ｓｉｎγ＝−ａ_ｓｃ_⊥ｓｃｏｓβ−ｂ_ｓｃ_⊥ｓｓｉｎβ＋ｃ_ｓ（ａ_⊥ｓｃｏｓβ＋
ｂ_⊥ｓｓｉｎβ） 式（３４）

画像投影装置３１の場合も同じ計算方法で角度α，β，γを求めることができる。しかし、より簡単な方法で上記角度α，β，γを求めることもできる。以下に、このより簡単な方法を説明する。図２４は、画像投影装置３１がスクリーン３２に対して上向きに角度θｘ傾いており、且つ、右向きに角度θｙ傾いている場合を説明する図である。図２４（ａ）は、画像投影装置３１がスクリーン３２に対して上向きに角度θｘ傾いている状態を示し、図２４（ｂ）は、画像投影装置３１がスクリーン３２に対して右向きに角度θｙ傾いている状態を示す。

図２５は、図２４の場合の各角度の関係を説明する図である。図２５からもわかるように、角度α，βは、次式（３５）から求めることができる。

ｔａｎβ＝−ｓｉｎθｘ／（ｃｏｓθｘ・ｓｉｎθｙ）
ｃｏｓα＝ｃｏｓθｘ・ｃｏｓθｙ 式（３５）

角度γについては、γ＝βを近似解とすることができる。しかも、実際に投影されたスクリーン３２上の投影画像が水平となるように画像投影装置３１の位置をマニュアルで調整することで、角度γの誤差が補正されるので、γ＝βとみなすことにより発生する誤差は、実用上は問題とならないからである。

本発明者が、角度γが角度βでどの程度正確に近似できるかを上記式（３４）を用いて調べたところ、θ１，θ２又はθｘ，θｙが±２０度程度の範囲内であでば、近似した角度γの誤差は数度以内に収まることが確認できた。

ところで、スクリーン上又はディスプレイ上の画像を見る人が、スクリーン又はディスプレイに対して斜めの方向から見る場合がある。このような場合、スクリーン上又はディスプレイ上の画像に歪みが発生していなくても、人間の目の網膜には斜めの方向から見ることによって歪んだ画像が結像する。画像の歪みが比較的小さい場合には、人間の脳の働きで、小さな歪みは認識することなく、例えば小さな歪みを有する円形は円形として、小さな歪みを有する正方形は正方形として認識することができる。

しかし、スクリーン又はディスプレイを見る角度が大きくなると、歪みも大きくなり、人間の脳の働きをもってしても、歪みを無視できなくなり、人間の目にも歪みがはっきり見えてしまう。例えば、アスペクト比が４：３のテレビジョンディスプレイ上の画像と、アスペクト比が１６：９のテレビジョンディスプレイ上の画像とを比べると、アスペクト比が１６：９のテレビジョンディスプレイ上の画像は明らかに横方向に約３３％伸びた画像となり、縦横比が元々はっきりしない自然の風景等の画像の場合は違和感がないことが多いが、それ以外の画像の場合には違和感があることが多い。例えば立っている人は太って見えてしまい、顔も丸く見えてしまう。従って、スクリーン又はディスプレイに対して斜めの方向から見る場合にも、画像の歪みを認識されないようにすることが望ましい。

そこで、歪みのない画像を表示しているスクリーン又はディスプレイに対して斜めの方向から見る場合の画像の補正と、画像投影装置がスクリーンに対して斜め方向から画像を投影して、且つ、スクリーンに対して斜めの方向から見る場合の画像の補正、即ち、画像変換処理について、以下に説明する。

先ず、ディスプレイに対して斜めの方向から見る場合について説明する。ディスプレイに表示される画像には歪みが発生していないものとする。これは、画像投影装置の光軸がスクリーンに対して垂直な位置から画像を投影し、投影画像には歪みが発生していない場合に対応する。尚、ディスプレイは、例えば周知のテレビジョンディスプレイであり、その詳細な説明は省略する。

上記カメラ１３と基準面ＲＰとの関係と同様な関係が、見る人間とディスプレイとの間に成立しているものとし、上記パラメータα，β，γ，ｌの代わりに、対応するパラメータα’，β’，γ’，ｌ’を用いるものとする。つまり、見る人間の目の網膜に結像した画像を、カメラ１３で撮像した画像とみなすことができる。この場合、上記式（５）及び（６）においてαをα’に置き換え、ｌをｌ’に置き換えることで、次式（５Ａ）及び（６Ａ）が成立する。尚、（Ｘ_０，Ｙ_０）は、元の画像の座標を示し、（ｘ，ｙ）は変換後の座標を示す。

又、上記式（７）〜（９）についても、αをα’に、βをβ’に、ｌをｌ’に置き換えることで、次式（７Ａ）〜（９Ａ）が成立する。

尚、ディスプレイに対して斜めの方向が、ディスプレイの上下方向に限定される場合や、左右方向に限定される場合には、上記の如く式（１２Ａ），（１３），（１４），（１５）を用いる計算や、式（１２Ａ），（１３Ａ），（１４），（１５）を用いる計算を行うことで、計算処理を簡略化できることは、言うまでもない。

次に、スクリーン３２に対して斜めの方向から見る場合について説明する。画像投影装置３１の光軸がスクリーン３２に対して垂直な位置から画像を投影し、投影画像には歪みが発生していない場合の画像変換処理は、上記の如くディスプレイに対して斜めの方向から見る場合の画像変換処理と同じで良い。他方、画像投影装置３１もスクリーン３２に対して傾いている場合には、以下の如き画像変換処理行う。

以下の説明では、画像投影装置３１とスクリーン３２との関係が上記パラメータα，β，γ，ｌで表され、スクリーン３２を見る人間の目の位置とスクリーン３２との関系が上記パラメータα’，β’，γ’，ｌ’で表されるものとする。図２６は、この場合の画像投影装置３１、スクリーン３２及び人間の目３９の位置の関係を説明する図である。

図２６において、目視で画像部分があたかも位置Ｘ_０にあるかのように見せるためには、画像部分をスクリーン３２上の位置ｘに表示する必要がある。画像部分をスクリーン３２上の位置ｘに投影するためには、画像投影装置３１は位置Ｘに向かって画像部分を投影する必要がある。同様に、目視で画像部分があたかも位置Ｙ_０にあるかのように見せるためには、画像部分をスクリーン３２上の位置ｙに表示する必要がある。画像部分をスクリーン３２上の位置ｙに投影するためには、画像投影装置３１は位置Ｙに向かって画像部分を投影する必要がある。従って、次のような変換を行えば良い。

即ち、上記式（７Ａ）〜（９Ａ）に続いて上記式（１８）〜（２０）の計算を行えば良い。ただし、式（９Ａ）と式（１８）の計算はまとめて行えるので、結果的には、式（７Ａ）、式（８Ａ）、次式（９Ｂ）、次式（１９Ａ）及び式（２０）を計算すれば良いことになる。

尚、

の場合には、投射角と入射角が略同じなので、変換は次のようになる。

実際に上記式（７Ａ）、式（８Ａ）、次式（９Ｂ）、次式（１９Ａ）及び式（２０）を

の条件のもとで計算すると、

であることが確認できる。

上記の如き、ディスプレイ又はスクリーンを斜め方向から見る場合に画像変換を行う場合にも、扱う画像がデジタル画像データで表される場合、画像は画素（ピクセル）のかたまりで表現され、画像データは画素データにより構成される。従って、上記画像変換処理の場合と同様に逆向きの計算を行い、元の画像の対応する画素の近傍の４画素の画素値の重み付け平均を求めれば良い。

尚、画像変換処理で用いる式では、明るさの変化への対応は考慮していない。しかし、画像投影装置から遠くなるスクリーン部分に表示される画像部分の輝度値を増加させたり、スクリーンに対して入射角の垂線からの傾きが大きい程輝度値を増加させたりすることで、画質を向上することができる。

尚、本発明は、以下に付記する発明をも包含するものである。
（付記１） コンピュータにより画像変換処理を行う画像変換方法であって、
基準面に対して撮像手段又は対象物が任意の角度回転し、更に光軸が任意の角度傾いた撮像手段により撮像した撮像画像を、該基準面に対して光軸が垂直な状態の撮像手段により撮像した撮像画像と実質的に等価な画像に変換する座標変換ステップと、
変換後の座標値に対応した輝度値として、変換前座標の輝度値を代入する輝度値代入ステップとを含むことを特徴とする、画像変換方法。
（付記２） 前記座標変換ステップは、
該撮像手段の光軸の該基準面に対して垂直な軸に対する傾き角度をα、該光軸を該基準面に投影した場合の直線が、該基準面の基準軸（ｘ軸）となす角度をβ、該撮像画像上での該撮像手段の傾き方向が、該画像上の基準軸（Ｘ軸）となす角度をγ、該撮像画像上の座標を（Ｘ，Ｙ）、該基準面上の座標を（ｘ，ｙ）とすると、
α、β、γを用いて一意的に、変換後の画像の座標（ｘ，ｙ）の、変換前の対応する座標（Ｘ，Ｙ）を求めることを特徴とする、付記１記載の画像変換方法。
（付記３） 基準面に対して撮像手段又は対象物が任意の角度回転し、更に光軸が任意の角度傾いた撮像手段により撮像した撮像画像を、該基準面に対して光軸が垂直な状態の撮像手段により撮像した撮像画像と実質的に等価な画像に変換する座標変換手段と、
変換後の座標値に対応した輝度値として、変換前座標の輝度値を代入する輝度値代入手段とを備えたことを特徴とする、画像変換装置。
（付記４） 前記座標変換手段は、
該撮像手段の光軸の該基準面に対して垂直な軸に対する傾き角度をα、該光軸を該基準面に投影した場合の直線が、該基準面の基準軸（ｘ軸）となす角度をβ、該撮像画像上での該撮像手段の傾き方向が、該画像上の基準軸（Ｘ軸）となす角度をγ、該撮像画像上の座標を（Ｘ，Ｙ）、該基準面上の座標を（ｘ，ｙ）とすると、
α、β、γを用いて一意的に、変換後の画像の座標（ｘ，ｙ）の、変換前の対応する座標（Ｘ，Ｙ）を求めることを特徴とする、付記２記載の画像変換装置。
（付記５） 付記３又は４記載の画像変換装置から出力される変換後の画像に基づいて画像認識処理を行う画像認識手段を備えたことを特徴とする、画像認識装置。
（付記６） 付記５記載の画像認識装置から出力される画像認識結果に基づいてロボットの動作を制御する制御手段を備えたことを特徴とする、ロボット制御装置。
（付記７） スクリーンに対して画像投影手段又は対象物が任意の角度回転し、更に光軸が任意の角度傾いた画像投影手段により投影する画像を、該スクリーンに対して光軸が垂直な状態の画像投影手段により投影した投影画像と実質的に等価な画像に変換する座標変換手段と、
変換後の座標値に対応した輝度値として、変換前座標の輝度値を代入する輝度値代入手段とを備えたことを特徴とする、画像投影装置。
（付記８） 前記座標変換手段は、
該画像投影手段の光軸の該スクリーンに対して垂直な軸に対する傾き角度をα、該光軸を該スクリーンに投影した場合の直線が、該スクリーンの基準軸（ｘ軸）となす角度をβ、該投影画像上での該画像投影手段の傾き方向が、該画像上の基準軸（Ｘ軸）となす角度をγ、該撮像画像上の座標を（Ｘ，Ｙ）、該スクリーン上の座標を（ｘ，ｙ）とすると、
α、β、γを用いて一意的に、変換後の画像の座標（ｘ，ｙ）の、変換前の対応する座標（Ｘ，Ｙ）を求めることを特徴とする、付記７記載の画像投影装置。

本発明は、上記実施例に限定されるものではなく、本発明の範囲内で種々の改良及び変更が可能であることは、言うまでもない。

Claims (6)

1. 撮像手段が設けられたロボットハンドを移動制御するコンピュータにより画像変換処理を行う画像変換方法であって、
   基準面に対して光軸が任意の角度傾いた該撮像手段により撮像した撮像画像を、該基準面に対して光軸が垂直な状態の撮像手段により撮像した撮像画像と実質的に等価な画像に変換する座標変換ステップと、
   変換後の座標値に対応した輝度値として、変換前座標の輝度値を代入する輝度値代入ステップと
   を該コンピュータに実行させ、
   前記座標変換ステップは、
   該撮像手段と該基準面との間の該基準面に対して垂直な方向上の距離をｌ、該撮像手段の光軸の該基準面に対して垂直な軸に対する傾き角度をα、該光軸を該基準面に投影した場合の直線が、該基準面の基準軸（ｘ軸）となす角度をβ、該撮像画像上での該撮像手段の傾き方向が、該画像上の基準軸（Ｘ軸）となす角度をγ、該撮像画像上の座標を（Ｘ，Ｙ）、該基準面上の座標を（ｘ，ｙ）とすると、
   次式を用いて−β回転処理を行い、座標（ｘ，ｙ）を座標（ｘ’，ｙ’）に回転するステップと、
   

   

   次式を用いて傾きの変換処理を行い、座標（Ｘ’，Ｙ’）に変換するステップと、
   

   

   次式を用いてγ回転処理を行い、座標（Ｘ，Ｙ）に回転するステップとを含み、
   

   

   前記各式を順次計算することで、変換後の画像の座標（ｘ，ｙ）の、変換前の対応する座標（Ｘ，Ｙ）を求めることを特徴とする、画像変換方法。
2. 前記座標変換ステップは、
   前記基準面上の隣り合う画素の距離をｄｐ、前記撮像画像上の画素の座標を（Ｉ’，Ｊ’）とし、変換後の座標を（ｉ，ｊ）とし、夫々の画像の中心を（Ｉ_０，Ｊ_０），（ｉ_０，ｊ_０）とすると、
   次式を用いて−β回転処理を行い、座標（ｘ，ｙ）を座標（ｘ’，ｙ’）に回転するステップと、
   

   

   次式を用いて傾きの変換処理を行い、座標（Ｘ’，Ｙ’）に変換するステップと、
   

   

   次式を用いてγ回転処理を行い、座標（Ｘ，Ｙ）に回転するステップと、
   

   

   次式を用いて逆変換処理を行い、座標（Ｉ’，Ｊ’）に逆変換するステップとを含み、
   

   

   前記各式を順次計算することで、変換後の画像の座標（ｉ，ｊ）の、変換前の対応する座標（Ｉ’，Ｊ’）を求めることを特徴とする、請求項１記載の画像変換方法。
3. 前記輝度値代入ステップは、座標（Ｉ’，Ｊ’）の近傍にある４つの実在する画素の座標を（Ｉ，Ｊ），（Ｉ＋１，Ｊ），（Ｉ，Ｊ＋１），（Ｉ＋１，Ｊ＋１）とすると、[ ]はガウス記号を示すものとするとＩ，Ｊを次式
   

   

   で求め、
   元画像の輝度値をＰ（Ｉ，Ｊ）、変換後の輝度値をｐ（ｉ，ｊ）とすると、近傍の４画素の画素値の重み付け平均を、次式
   

   

   で求めることを特徴とする、請求項２記載の画像変換方法。
4. 移動制御対象となるロボットハンドに設けられた基準面に対して光軸が任意の角度傾いた撮像手段により撮像した撮像画像を、該基準面に対して光軸が垂直な状態の撮像手段により撮像した撮像画像と実質的に等価な画像に変換する座標変換手段と、
   変換後の座標値に対応した輝度値として、変換前座標の輝度値を代入する輝度値代入手段とを備え、
   前記座標変換手段は、
   該撮像手段と該基準面との間の該基準面に対して垂直な方向上の距離をｌ、該撮像手段の光軸の該基準面に対して垂直な軸に対する傾き角度をα、該光軸を該基準面に投影した場合の直線が、該基準面の基準軸（ｘ軸）となす角度をβ、該撮像画像上での該撮像手段の傾き方向が、該画像上の基準軸（Ｘ軸）となす角度をγ、該撮像画像上の座標を（Ｘ，Ｙ）、該基準面上の座標を（ｘ，ｙ）とすると、
   次式を用いて−β回転処理を行い、座標（ｘ，ｙ）を座標（ｘ’，ｙ’）に回転する手段と、
   

   

   次式を用いて傾きの変換処理を行い、座標（Ｘ’，Ｙ’）に変換する手段と、
   

   

   次式を用いてγ回転処理を行い、座標（Ｘ，Ｙ）に回転する手段とを含み、
   

   

   前記各式を順次計算することで、変換後の画像の座標（ｘ，ｙ）の、変換前の対応する座標（Ｘ，Ｙ）を求めることを特徴とする、画像変換装置。
5. 前記座標変換手段は、
   前記基準面上の隣り合う画素の距離をｄｐ、前記撮像画像上の画素の座標を（Ｉ’，Ｊ’）とし、変換後の座標を（ｉ，ｊ）とし、夫々の画像の中心を（Ｉ_０，Ｊ_０），（ｉ_０，ｊ_０）とすると、
   次式を用いて−β回転処理を行い、座標（ｘ，ｙ）を座標（ｘ’，ｙ’）に回転する手段と、
   

   

   次式を用いて傾きの変換処理を行い、座標（Ｘ’，Ｙ’）に変換する手段と、
   

   

   次式を用いてγ回転処理を行い、座標（Ｘ，Ｙ）に回転する手段と、
   

   

   次式を用いて逆変換処理を行い、座標（Ｉ’，Ｊ’）に逆変換する手段とを含み、
   

   

   前記各式を順次計算することで、変換後の画像の座標（ｉ，ｊ）の、変換前の対応する座標（Ｉ’，Ｊ’）を求めることを特徴とする、請求項４記載の画像変換装置。
6. 前記輝度値代入手段は、座標（Ｉ’，Ｊ’）の近傍にある４つの実在する画素の座標を（Ｉ，Ｊ），（Ｉ＋１，Ｊ），（Ｉ，Ｊ＋１），（Ｉ＋１，Ｊ＋１）とすると、[ ]はガウス記号を示すものとするとＩ，Ｊを次式
   

   

   で求め、
   元画像の輝度値をＰ（Ｉ，Ｊ）、変換後の輝度値をｐ（ｉ，ｊ）とすると、近傍の４画素の画素値の重み付け平均を、次式
   

   

   で求めることを特徴とする、請求項５記載の画像変換装置。

Images