JP3122629B2

JP3122629B2 - 任意視点画像生成装置

Info

Publication number: JP3122629B2
Application number: JP09191399A
Authority: JP
Inventors: セングプタクンタル; 竜己坂口; 淳大谷
Original assignee: 株式会社エイ・ティ・アール知能映像通信研究所
Priority date: 1997-07-16
Filing date: 1997-07-16
Publication date: 2001-01-09
Anticipated expiration: 2017-07-16
Also published as: JPH1139506A

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、任意の視点から
見た実空間の画像を生成するための装置に関し、特に、
ステレオ画像に基づいて、実空間の画像を実時間で容易
に生成できる任意視点画像生成装置に関する。

【０００２】

【従来の技術】近年、遠隔地間映通信の重要性が増加し
ている。しかし、現存するテレビ会議システムでは、ユ
ーザ間での距離の隔たりを意識させないような画像を提
供することは困難である。

【０００３】この問題は、遠隔地間のユーザが一つの実
世界に共存しているように感じる環境を作り出すことで
解決できると考えられる。このためには、任意の視点か
ら見た実空間の視野画像を生成することが必要である。
しかもそうした生成を実時間で行なう必要がある。

【０００４】そうした手法の一つに、ステレオ画像から
任意視野画像を生成するものがある。そうした従来の手
法は、ステレオ画像から３次元画像を再構築し、この３
次元画像から任意の視点の画像を生成するものが一般的
である。そのために、ある手法では、３次元再構築問題
を、強カメラキャリブレーションを用いて解決してい
る。また他の手法では、画像間の対応関係を３次元アフ
ィン変換または透視投影変換と仮定して３次元構築問題
を解決している。このようにして３次元座標系で表わさ
れたオブジェクトを新しい画像に投影することで、任意
視点から見た画像を生成する。

【０００５】シーンの再投影や新しい視野画像合成のた
めのより直接的なアプローチとしてエピポーラ交差法が
ある。また、最近では、２つの画像が与えられた場合、
いわゆるモーフィングを用いて、２つのカメラの光学中
心を結ぶ線上にある任意の位置からの画像を合成する手
法も提案されている。

【０００６】

【発明が解決しようとする課題】しかし、３次元構造再
構築をした後に新しい画像を投影する手法では、３次元
構造再構築の過程における画像の測定ミス、またはその
他のあらゆる要因に対して不安定要素があり、得られる
結果もまた不安定となる問題がある。またエピポーラ交
差法を用いた従来の方法では、カメラの強キャリブレー
ションを行なう必要があり、これを正確に行なうことは
困難である。さらに少なくとも３枚の画像間で８点の対
応点が必要であり、これら各点の座標の測定には誤差が
含まれるため、より少ない対応点を用いる場合と比較し
て再投影時により大きな座標誤差を招くという問題点が
ある。また、モーフィングを用いた手法では、ステレオ
マッチングという厄介な問題を避けることができる半
面、任意位置の仮想カメラからの画像合成へと拡張する
ことができない。すなわち、モーフィングを用いた手法
では、２つの実カメラのカメラ中心を結んだ直線上に仮
想カメラがある場合しか利用できないという問題点があ
る。

【０００７】それ故に、本発明の目的は、座標誤差が少
なく、空間のどの地点に視点があっても安定して画像を
生成することができる任意視点画像生成装置を提供する
ことである。

【０００８】

【課題を解決するための手段】本願の請求項１に記載の
発明にかかる任意視点画像生成装置は、ステレオ画像を
取得するための画像取得手段と、画像取得手段により取
得されたステレオ画像に基づいて、所定の２次元アフィ
ン座標系の基準ベクトルを作成するための手段と、画像
取得手段により取得されたステレオ画像に基づいて、画
像取得時の視点の相対的位置をキャリブレーションする
ための手段と、キャリブレーションの結果に基づいて、
画像取得手段により取得されたステレオ画像間の点の対
応をとるための手段と、基準ベクトルと対応をとるため
の手段の出力とに基づいて、ステレオ画像の各点の座標
を２次元アフィン座標系の座標に変換するための第１の
変換手段と、仮想視点位置データに基づいて、２次元ア
フィン座標系の座標を、ピンホール投影法を用いて仮想
視点位置での２次元アフィン座標に変換するための第２
の変換手段と、第２の変換手段の出力から、仮想視点位
置における画像を生成するための手段とを含む。

【０００９】ステレオ画像から２次元アフィン変換の基
準ベクトルを作成したのち、処理対象となるステレオ画
像を取得したときの視点の相対的位置をキャリブレーシ
ョンする。さらに、ステレオ画像間の点の対応をとり、
既に求められている基準ベクトルを用いて各点の座標を
アフィン変換したのち、ピンホール投影法を用いて仮想
視点位置での２次元アフィン座標に変換する。このよう
にして得られた２次元アフィン座標から、仮想視点位置
における画像を生成する。

【００１０】弱キャリブレーションを用いているので、
３次元再構築法と比較してより直接的に画像を再投影で
き、必要な参照点の数も少なく測定誤差も少なくなるの
で、より安定した結果を得ることができる。また、この
処理においては視点の位置が限定されないので、視点が
空間中のどこにあっても画像の生成を行うことができ
る。

【００１１】

【発明の実施の形態】

［本願発明の原理］まず、本願発明の任意視点画像生成
装置の原理について説明する。本願発明は、物体認識手
法として文献「D.W. Jacobs:"Space Efficient 3D Mode
l Indexing"(Proceedings of CVPR,pp. 439-444,1992)
」で提案された、非常に単純な原理に基づく。この文
献では、３次元剛体モデルを撮影することによって得ら
れる２次元画像のペアは、高次α−βアフィン空間上の
２本の直線として最適に表現できると述べられている。
また、この手法を採用したとして、カメラの投影モデル
として正射影を仮定することもできるが、その場合に
は、後述するように得られる画像の劣化が見られる。そ
こで本願発明では、再合成された画像の質を維持するた
めに、射影にピンホールカメラ形を採用している。

【００１２】発明者は、射影にピンホールカメラを採用
し、ステレオカメラから撮影された２枚の画像間で対応
する点におけるアフィン空間の特性を調べた。こうして
得られた特性を、新しい視野画像の合成等のアプリケー
ションのためにシーン再投影手法として用いている。

【００１３】［カメラキャリブレーションモデル］ここ
では、強カメラキャリブレーションと、本願発明で用い
る弱カメラキャリブレーションとについて簡単に解説す
る。

【００１４】（１）強カメラキャリブレーション図１において強カメラキャリブレーションに基づき空間
中の点Ｐを画像平面中の点ｐに投影する場合には、３×
４の変換マトリクスＣを計算する必要がある。点Ｐの同
次座標系での座標が[X Y Z 1]であり、点ｐの座標が(u,
v)であるならば、以下の式が成立する。 [tu tv 1]'=C[X Y Z 1]' …(1) ここでｔはパラメータである。

【００１５】変換マトリクスＣの全体のスケーリングフ
ァクタは重要でないので、キャリブレーションでは変換
マトリクスＣの１１個の要素を推定することとなる。す
なわち、少なくとも６個の３次元座標中の点のマッピン
グ情報を知識として、強カメラキャリブレーションパラ
メータを推定することができる。

【００１６】図２に示すステレオペアが与えられ、双方
のカメラでの強カメラキャリブレーションパラメータが
既知のものとするならば、第１の画像中のある点(u
_1,v₁) が第２の画像中の点(u_2,v₂) に対応する場合に
は、それらの点に対応する点Ｐの３次元座標を標準的な
三角測量法を使ってキャリブレーションパラメータから
推定することができる。これにより、この点Ｐを仮想カ
メラの投影行列を使って任意の画像中に再投影すること
ができる。しかし、カメラが適切にキャリブレーション
されていない場合には、キャリブレーション過程におい
て測定誤差を生じ、光学中心Ｃ１、Ｃ２に対して誤差を
含む光学中心Ｃ１’、Ｃ２’が設定されることになり、
３次元再構築の際には図２中点線で示す様に点Ｐの座標
を誤って点Ｐ’の座標のように推定してしまう。これは
新しい視点からの画像を生成する際の再投影処理の誤り
をも導く。

【００１７】（２）弱カメラキャリブレーションこれに対して、本願発明で用いる弱カメラキャリブレー
ションとは、２つのステレオ画像間でのエピポーラ位置
関係を求める手法である。すなわち弱キャリブレーショ
ンとは、画像取得時の視点の相対的位置をキャリブレー
ションすることをいう。図３に示すように、（ｕ₁，ｖ
₁）が第１の画像中の点ｐの座標を表すとすると、３×
３の行列Ｆを用いて、第２の画像中のエピポーラライン
Ｌを計算することができる。点ｐに対応した第２の画像
中の点はこのエピポーラライン上に位置する。もし、エ
ピポーララインがl₁u₂＋l₂v₂＋l₃＝０で表されるなら
ば、その関係は以下の式で表される。 [l₁ l₂l₃]'=F[u₁v₁ 1]'… (2) スケーリングファクタまで含めてＦを解くためには、２
枚の画像中で８点の対応関係が必要になる。この行列Ｆ
を用いて、画像間の点の対応を見つけるためのステレオ
マッチング問題を解くことができる。本手法では、エピ
ポーラライン上に探索範囲を限定した相関マッチングに
よって与えられた画像間の点の対応を得ている。また、
新しい視点からの画像を生成する際にもこの弱カメラキ
ャリブレーションの結果を用いている。

【００１８】後に述べるようにこの手法を使って算出し
た点の再投影後の座標値は、参照点の座標値測定時にお
ける誤差に対して、強カメラキャリブレーションに基づ
いた再投影法と比べ、より安定した性能を持っている。

【００１９】［アフィン座標の特性］本願発明では、ア
フィン変換を用いて各点の再投影を行なっている。ここ
ではアフィン座標に基づいた再投影の考え方を、平行投
影とピンホール射影との２つの場合に分けて検討する。
本願発明では、このうちピンホール射影の考え方を用い
ている。平行投影の場合、シーン中の点は何処にあって
も良く、カメラの投影法を正射影と仮定する。ピンホー
ル射影の場合、シーン中の点は何処にあっても良く、カ
メラの投影法をピンホール射影と仮定する。

【００２０】（１）平行投影の場合カメラ投影のモデルを平面への平行投影とそれに続くア
フィン変換とで単純化する手法が既に提案されている。
図４を参照して、点の組（Ｐ₁，Ｐ₂，．．．Ｐ_n）が
あったとして、３つの点Ｐ₁、Ｐ₂、Ｐ₃を通る仮想の
面（基準面）２０を考える。点Ｐ₄から基準面２０に下
ろした垂線の足を点ｐ₄'とする。点ｐ₄'の（Ｐ₁，
Ｐ₂，Ｐ₃）を基準としたアフィン座標は（ａ₄，
ｂ₄）である。同様に、ｉ番目の点から基準面２０へ下
ろした垂線の足をｐ_i’、そしてアフィン座標は
（ａ_i，ｂ_i）とする。更に、ｄ₄とｄ_iとをそれぞ
れ、点Ｐ₄，Ｐ_iから基準面２０までの距離とする。

【００２１】アフィン座標（α₄、β₄）とは、視点か
ら点Ｐ₄を見たときに基準面２０に投影される点のアフ
ィン座標を示している。この（Ｐ₁，Ｐ₂，Ｐ₃）に対
してアフィン座標（α₄、β₄）を持つ点をｐ_b4とす
る。点ｐ_b4と点Ｐ₄とを結ぶライン２４が視線方向とな
る。この線は画像平面２２（この面の法線は視線と平
行）と点ｑ₄で交わる。したがって、点ｑ₄は点Ｐ₄の
像となる。同様に（Ｐ₁，Ｐ₂，Ｐ₃）をそれぞれ画像
平面２２の（ｑ₁，ｑ₂，ｑ₃）に投影する。この点
（ｑ₁，ｑ₂，ｑ₃）により定まる面を基準に選択した
場合、画像平面２２に対して（平行移動、回転、拡大縮
小、などの）アフィン変換を施した場合にも点ｑ₄はア
フィン座標（α₄、β₄）を持つ。

【００２２】次に、残った投影点のアフィン座標
（α_i，β_i）もこの与えられた視線方向２４から（α
₄、β₄）と同様に計算する。ｐ_b ⁱを基準面２０とＰ
_iを通る視線方向からの平行光線との交点とするなら
ば、ｑ_iはその画像平面２２への写像となる。同様に、
点ｐ_biと点ｑ_iとは、（Ｐ₁，Ｐ₂，Ｐ₃）、（ｑ₁，
ｑ₂，ｑ₃）をそれぞれ基準としたときに、アフィン座
標（α_i，β_i）を持つ。

【００２３】三角形Ｐ₄ｐ_b4ｐ₄'と三角形Ｐ_iｐ
_biｐ_i’の三角形の相似を用いるならばその関係式は以
下のように表される。

【００２４】

【数１】

【００２５】これをアフィン座標で表すと、以下のよう
になる。

【００２６】

【数２】

【００２７】αだけを考慮すれば、さらに以下のように
表せる。

【００２８】

【数３】

【００２９】この式中の、ａ_i，ａ₄，ｄ_i，ｄ₄は画
像内の全ての点で同一の定数で、これらは与えられた３
次元上の点から生成できる。すなわち、（Ｐ₁，．．．
Ｐ_n）から生成されるすべての可能な像において、α₄
とα_iとは直線にプロットされ、その傾きは図５の様に
ｄ_i／ｄ₄となる。この傾きは点Ｐ_iが基準面からどれ
だけ離れているかを示す。同様に、β₄、β_iもαと同
じ傾きで直線となる。

【００３０】（２）ピンホールの場合ここでは、３次元上の点を平面上に投影するために標準
的なピンホールカメラの座標系を仮定する。その後これ
らの投影した点のアフィン変換を行う。図６を参照し
て、（Ｐ₁，Ｐ₂，Ｐ₃，．．．，Ｐ_n）を３次元上の
点とし、点Ｐ₁，Ｐ₂，Ｐ₃を通る仮想平面（基準面）
２０を図６の様に定義する。点Ｐ₄から基準面に下ろし
た垂線の足をｐ₄'とし、その（Ｐ₁，Ｐ₂，Ｐ₃）を基
準としたアフィン座標を（ａ₄，ｂ₄）とする。同様に
点ｐ_i’を作成する。（α₄、β₄）は視点位置から基
準面２０へ投影した点ｐ_b4に対して（Ｐ₁，Ｐ₂，
Ｐ₃）を基準としたアフィン座標である。点ｐ_b4と点ｐ
₄とを通る直線の延長上にカメラの光学中心Ｃがある。
この位置は任意に定めたものである。視線２４について
も任意に選んだ。直線Ｐ₄ｐ_b4は点ｑ₄で画像平面２２
と交わる。点ｑ₄は点Ｐ₄の像である。同様に、点
Ｐ₁，Ｐ₂，Ｐ₃を画像平面２２にそれぞれ点ｑ₁，ｑ
₂，ｑ₃として写像する。点ｑ₄は、この（ｑ₁，
ｑ₂，ｑ₃）を基準として、アフィン座標（α₄、
β₄）を持っている。

【００３１】点Ｐ_iを画像平面２２に投影した点をｑ_i
とする。前述の通り、点Ｐ_biと点ｑ _iとはそれぞれ、
（Ｐ₁，Ｐ₂，Ｐ₃），（ｑ₁，ｑ₂，ｑ₃）を基準と
した際に共にアフィン座標（α_i、β_i）を持つ。ま
た、ｃ’とｄ_cとをそれぞれ、カメラ中心Ｃから基準面
２０に垂直に下ろした点、およびそこからカメラ中心ま
での距離とする。三角形Ｃｐ_bic'と三角形Ｐ_iｐ
_biｐ_i’との２つの三角形の近似を用いて、以下の式が
成立する。

【００３２】

【数４】

【００３３】同様に三角形Ｃｐ_b4c'と三角形Ｐ₄ｐ_b4ｐ
₄’との近似を用いて、以下の式が成立する。

【００３４】

【数５】

【００３５】(6)と(7)式とから、次の式（８）が成立す
る。

【００３６】

【数６】

【００３７】アフィン座標で上記の式を書き直せば、以
下のようになる。

【００３８】

【数７】

【００３９】αだけを取り出すと、次のようになる。

【００４０】

【数８】

【００４１】ここで、以下の式が成立する。

【００４２】

【数９】

【００４３】式(11)中、ａ_i、ａ₄、ｄ_iそしてｄ₄は
生成可能なすべての画像に対して同じ値であり、ａ_cは
カメラパラメータに依存する。つまり、ａ_cとａ₄とが
分かっていれば、与えられた画像に対して簡単にα₄'を
計算することができる。すなわち、生成可能なすべての
画像に対して、α₄'、α_iは傾きｄ_i／ｄ₄の直線上に
プロットされる。この特性を、図７に示した。β空間に
描かれる直線もα空間に描かれる直線と同様の傾きであ
る。

【００４４】ｉ番目の点に対応した直線の傾きはその点
から基準面までの距離に正比例している。

【００４５】［新しい視野画像の合成と他のアプリケー
ション］新しい視野画像の生成このようにして得られたアフィン座標から、新しい視野
画像を生成することが最終的に必要である。ここでも、
平行投影と、ピンホール射影との２種類の考え方がある
が、本願発明ではピンホール射影を採用した。以下、平
行投影を用いた方法と、本願発明のようにピンホール射
影を採用した方法とを順次説明する。

【００４６】（１）平行投影の場合２つの画像Ｉ₁、Ｉ₂が与えられたとする。新しい視野
画像の生成のためには、２つの画像の間の点の対応関係
を必要とする。そのため、画像Ｉ₁上の点ｐ_i ¹に対応
する画像Ｉ₂上の点をｐ_i ²と定義する。αやβ空間で
直線を生成するためには、４つの参照点が必要であるた
め、ここでは画像上で点ｐ₁'，ｐ₂'，ｐ ₃'，ｐ₄'を定め
る。簡単にするために、線分Ｐ₁Ｐ₂と線分Ｐ₁Ｐ₃お
よび線分Ｐ₁Ｐ₄が直角で、かつ｜Ｐ₁Ｐ₂｜＝｜Ｐ₁
Ｐ₃｜＝｜Ｐ₁Ｐ₄｜となるように点ｐ₁'，ｐ₂'，
ｐ₃'，ｐ₄'を定めた。この構造をあらかじめ実験の前に
２台のカメラで撮影し、その投影後の点ｐ₁'、ｐ₂'、ｐ
₃'、ｐ₄'の座標値を記録しておく。画像Ｉ₁中の点ｐ₄'
と点ｐ_i’とのアフィン座標はそれぞれ、（α₄'、
β₄'）、（α_i ^'、β_i ^'）である。α空間中の直線は
２つの画像に対応した点（α ₄'、β₄'）と、（α₄ ²、β
_i ²）とを通る。

【００４７】ここで点Ｐ_i，Ｐ₂，Ｐ₃，Ｐ₄のワール
ド座標を(0,0,0),(0,0,0),(0,1,0),(0,0,1)とそれぞれ
仮定する。これらの点は仮想画像中の点ｐ₁ ^v，
ｐ₂ ^v，ｐ₃ ^v，ｐ₄ ^vに３×３の仮想カメラの透視変
換行列をつかって投影される。（α₄ ^v，β₄ ^v）は点
ｐ₄ ^vの（ｐ₁ ^v，ｐ₂ ^v，ｐ₃ ^v）を基準としたアフ
ィン座標である。次に、画像Ｉ₁中の点ｐ_i ¹を仮想画
像に再投影するためには仮想画像中のそのアフィン座標
を点ｐ_i ¹に対応するα空間上の直線から計算すればよ
い。直線の方程式がα_i＝κ₀α₄＋κ₁ならば、α_i
^V＝κ₀α₄ ^v＋κ₁として求めることができる。同様
に、β_i ^Vについても計算する。画像中の点ｐ _i ^vの座
標は式（１２）を使って求めることができる。

【００４８】

【数１０】

【００４９】ここで画像Ｉ₁中の複数の点が仮想画面上
の１点にマッピングされてしまうことに注意しなければ
ならない。この問題は、マッピングするべき点を選択す
る指標としてアフィン空間上の直線の傾きを利用するこ
とで解決できる。傾きの大きい直線上の点は、基準面か
らの距離が離れている、すなわち、仮想カメラが基準面
をのぞき込んでいる形になっているとすれば、仮想画面
との距離がより近いことになる。

【００５０】このようにして選択、再投影された画像に
は画素抜けが生じてしまう恐れがある。なぜならこの再
投影処理はすべての画素に画像Ｉ₁中の点がマッピング
されることを保証してはいないからである。ここではこ
れらの問題をコンピュータグラフィックスの技法である
Ｚバッファ、テクスチャマッピングを使って解決した。

【００５１】まず図８に示すように、画像Ｉ₁を一辺が
１ピクセル長の四角形に分割する。図中のＰ_i ¹のｘ，
ｙ座標は、それぞれＰ_i ^vのｘ，ｙ座標に投影される。
ｚ座標の値はアフィン空間での直線の傾きの逆数とし、
テクスチャは画像Ｉ₁のものを使う。この処理を残った
四角形の３点Ｐ_i+1 ¹,Ｐ_i+2 ¹,Ｐ_i+3 ¹ およびグリッド
上のすべての点にも繰り返す。次にこのポリゴンにテク
スチャをマッピングする。この処理によって、新しく生
成された画像を滑らかに補間することができる。

【００５２】（２）ピンホールの場合２つの画像Ｉ₁、Ｉ₂が与えられたとする。新しい視野
画像の生成のためには、２つの画像の間の点の対応関係
を必要とする。そこで、画像Ｉ₁上の点ｐ_i ¹に対応す
る画像Ｉ₂上の点をｐ_i ²と定義する。αやβ空間で直
線を生成するためには、４つの参照点が必要である。こ
こでは、画像Ｉ_j（ｊ＝１，２）上で点ｐ₁ ^j，
ｐ₂ ^j，ｐ₃ ^j，ｐ₄ ^jを定める。簡単にするために、
図９に示されるように線分Ｐ₁Ｐ₂と線分Ｐ₁Ｐ₃およ
び線分Ｐ₁Ｐ₄が直角で、かつ｜Ｐ₁Ｐ ₂｜＝｜Ｐ₁Ｐ
₃｜＝｜Ｐ₁Ｐ₄｜となるように定めた。この構造をあ
らかじめ実験の前に２台のカメラで撮影し、その投影後
の点ｐ₁ ^j，ｐ₂ ^j，ｐ₃ ^j，ｐ ₄ ^jの座標値を記録し
ておく。画像Ｉ_j中の点ｐ₄ ^jと点ｐ_i ^jとのアフィン
座標はそれぞれ（α₄ ^j, β₄ ^j）、（α_i ^j，
β_i ^j）である。α空間中の直線は２つの画像に対応し
た点（α₄ ¹',α_i ¹）と（α₄ ²',α_i ²）とを通る。

【００５３】ｊ番目の画像において、式(11)を使ってα
₄ ^j’を計算するためには、ａ_C ^jとａ₄とを知ってい
る必要がある。選んだ点Ｐ₁，．．．，Ｐ₄ではａ₄の
値は０である。ａ_C ^jを計算するためには、５番目の制
御点Ｐ₅が必要である。便宜上点Ｐ₅を線分Ｐ₁Ｐ₄の
延長上に選び、｜Ｐ₅Ｐ₁｜＝ｋ｜Ｐ₄Ｐ₁｜と定義し
た（図９）。点Ｐ₅のｊ番目のカメラへの写像は点ｐ₅
^jであり、そのアフィン座標は（α₅ ^j，β₅ ^j）であ
る。ａ₅＝０であるから式(10)(11)を用いて、以下の式
を得ることができる。

【００５４】

【数１１】

【００５５】仮想画像を生成するために、点Ｐ₁，
Ｐ₂，Ｐ₃，Ｐ₄，Ｐ₅のワールド座標をそれぞれ(0,
0,0),(1,0,0),(0,1,0),(0,0,1),(0,0,k) と仮定する。
これらの点は仮想画像に３×４の仮想カメラの透視変換
行列を使ってそれぞれ（ｐ₁ ^v，．．．，ｐ₅ ^v）へ投
影される。ｉ番目の点ｐ_i ¹の再投影は（ｐ₁ ^v，ｐ₂
^v，ｐ₃ ^v）を基準としたアフィン座標（α_i ^V，β_i
^V）を計算することで実現できる。α空間中の直線の方
程式がα_i＝κ₀α₄'＋κ₁とすると、(10)(11)式によ
り次のようになる。

【００５６】

【数１２】

【００５７】ここで、α₄ ^vとａ_C ^vとはそれぞれ点ｐ
₄ ^vのアフィン座標、および仮想カメラの中心の写像で
ある。同様に、β_i ^Vについても計算する。画像中の全
ての点は仮想画面上にこの手法を使って投影することが
できる。新しい画像中に発生する画素抜けや、Ｚ値の問
題は、平行投影の場合で述べた方法で解決する。

【００５８】［装置の構成］図１０に、本願発明を実施
するための装置の構成を示す。図１０を参照して、この
装置は、ＲＳ２３２Ｃ端子４０、４２および映像出力端
子４４を有するコンピュータ３０と、それぞれＲＳ２３
２Ｃ端子４０および４２においてコンピュータ３０に接
続された、シーンまたは物体３８を撮影するためのデジ
タルカメラ３２および３４と、映像出力端子４４におい
てコンピュータ３０に接続されたモニタ３６とを含む。
コンピュータ３０は、周知の構成を備えており、内部で
任意視点画像生成のためのプログラムを実行することに
より、任意視点画像生成装置として機能する。なお、デ
ジタルカメラとして本例では２つのデジタルカメラを使
用しているが、ステレオ画像を撮影できるカメラであれ
ばどの様なものでもよく、また１つのカメラを用い、カ
メラ視点を移動させることでステレオ画像を撮影するも
のでもよい。なお、本例ではデジタルカメラを用いてい
るが、通常のビデオカメラを用いてもよい。その場合、
コンピュータ３０は、映像入力端子を有し、ビデオ画像
をデジタル化する能力を有する必要がある。

【００５９】図１１に、このコンピュータ３０が実行す
る任意視点画像生成プログラムの処理の流れをブロック
図形式で示す。図１１を参照して、まず制御点の撮影と
して、画像セットＡの撮影を行なう（５０）。この画像
セットＡから、アフィン座標の基準ベクトルを作成する
（５８）。次に、シーンの撮影として、画像セットＢの
撮影を行なう。この画像セットＢを使用して、カメラの
弱キャリブレーションを行なう（６０）。

【００６０】さらに、任意視点画像を生成するためのシ
ーンの撮影を行なう。この時の画像セットを画像セット
Ｃとする。前述の画像セットＢは、画像セットＣと同一
のものであってもよい。画像セットＣに対し、処理６０
の結果を用いたステレオマッチングにより画像間の対応
を得る（６２）。さらに、このように対応が得られた画
像に対して処理５８で得られたアフィン座標の基準ベク
トルを用いてアフィン座標への変換を行なう（６４）。

【００６１】予め、仮想カメラの光学中心位置などを定
めた仮想カメラパラメータ５６をメモリ等に記憶してお
き、処理６４で得られたアフィン座標に対し、仮想カメ
ラ位置でのアフィン座標計算を行なう（６６）。こうし
て得られた仮想カメラ位置でのアフィン座標をカメラビ
ューに変換し（６８）、仮想カメラ位置を視点とする画
像を生成する。仮想カメラパラメータ５６を任意に変化
させることにより、任意位置での画像をリアルタイムで
生成することができる。

【００６２】［誤差に対する性能の実験的な比較］本願
発明による任意視点画像生成装置の効果を以下に示す。
まず、アフィン座標に基づく再投影アルゴリズムが３次
元再構築手法と比較してより安定していることを実験的
に検証する。このため、図１２に示すようなチェック模
様の箱を含んだシーン（ステレオ画像）を考え、カメラ
のキャリブレーションのために箱から６点を選んだ。手
動で点の対応を取り、その点の３次元座標を計算し、新
しい画像へと投影した。そのカメラマトリクスは任意に
定めた。定めた６つの参照点それぞれのｘ座標値の測定
誤差が−１から１の間に均一に分布していると仮定し、
再投影後の点の座標値の分布をシミュレートした。

【００６３】５点の参照点をアフィン座標を基にした再
投影アルゴリズムのために選択し、測定誤差には同一の
性質を仮定し、再投影点の座標値に与える影響を調べ
た。３つの異なった点を任意の画像の組から選び、３次
元再構築手法と、アフィン座標を基にした手法との比較
結果を考察する。この３点(i)(ii)(iii)に対して、ｘ，
ｙ座標のヒストグラムを、３次元再構築手法（ａ）、ア
フィン再投影（ｂ）それぞれについてプロットしたもの
を図１３〜図１８に示す。図１３、図１５、図１７はｘ
座標についてのもの、図１４、図１６、図１８がｙ座標
についてのものである。図１３および図１４が点(i) に
ついて、図１５および図１６が点(ii)について、図１７
および図１８が点(iii) についてのものである。図中、
３次元再構築手法によるものには「ａ」を、アフィン座
標変換を基にした本願発明の手法によるものには「ｂ」
をそれぞれ付してある。

【００６４】アフィン座標を元にした再投影法のｘ座標
のヒストグラムは、３点共に明確に鋭いピークを持って
おり、かつ分散も３次元再構築手法に比べて非常に小さ
いことが分かる。一方で、ｙ座標については、点(i)(i
i)において３次元再構築手法の方により鋭いピークが表
れている。しかしこの場合でもヒストグラムを検討する
と、３次元再構築法ではアフィン座標を基にした手法に
比べて分散が大きいことが分かる。投影点の正確なｘ，
ｙ座標という一つの根拠が欠如しているため、二つの手
法の正確さをどのように評価するかが問題となるが、手
法の正確さをピークの高さと対応するヒストグラムの広
がりで判定するとすれば、本願発明の直接的再投影手法
によって、３次元再構築による手法に比べてより安定し
た結果が得られ、より正確であると言うことができる。

【００６５】［アプリケーション］アフィン座標を用い
たシーン再投影の手法を検証するために、図１０に示す
構成のコンピュータに接続されたデジタルカメラで、あ
るシーンの３枚の画像を撮影した。その画像を図１９〜
図２２に示す。（画像（ｃ）と（ｄ）とは同じもの）こ
れまでの説明では、３枚目の画像は常に仮想画像だった
が、３番目の画像が実画像の場合にも本願発明の手法は
利用できる。

【００６６】図１９を参照して、画像上のチェック状の
ブロックから、３枚の画像中の対応点５点を選び出し、
「ｘ」でマークした。また、７つの対応点を最初の二つ
の画像から選び出し、図１９および図２０に黒いドット
で示した。図２１および図２２はそれぞれピンホールモ
デル、平行投影モデルによりこれらの点が３枚目の画像
にどのように投影されるかを示した図である。図２１に
示すピンホールモデルの方が図２２に示す平行投影モデ
ルに比べて「ｘ」点のずれが少なく、良い再投影結果を
示していることが分かる。

【００６７】次に、図２３に示すような２枚のステレオ
画像を基に新しい視野画像の合成を行う。新しい視野画
像の生成結果を図２４および図２５に示した。図２４
は、左側の実カメラより更に左にある仮想カメラから生
成した画像を示す。図２５は極端に左上にある仮想カメ
ラから生成した画像を示す。特にこのような例では前に
挙げた例に比べて、点の対応誤差が明白に再投影結果に
反映されてしまう。これは主に入力画像の質の悪さによ
るステレオマッチングの誤りに起因しているが、入力画
像の質を上げることにより改善される。この新しい視野
画像の生成アルゴリズムはコンピュータにおいてほぼリ
アルタイムに実行することができる。

【００６８】［まとめ］以上のように本発明により、新
しい視野画像の生成のアプリケーションのための、ステ
レオ画像におけるアフィン座標の特徴を使った統一的な
考え方を使用した方法を実現することができる。シーン
再投影のための計算は(14)式に示されているとおり、非
常に単純であることが特徴である。このため、新しい視
野画像の合成は、グラフィックスコンピュータを使うこ
とによってほぼリアルタイムに実現できる。また本手法
は、標準的なアプローチに比較して、５点という少ない
対応点数で実現可能であり、ステレオマッチング時の誤
差の再投影画像への影響を最小限に抑えることができ
る。

【００６９】本手法を動的なシーンに適用することも可
能と考えられる。その場合の最大の問題点は、フレーム
レートでのステレオマッチングである。本発明を動的な
シーンに適用するためには、標準的なステレオマッチン
グのアルゴリズムより効率的な手法と組み合わせること
が必要である。

【００７０】［本手法と他の直接的な手法との比較］既
に述べたように、再投影手法の一つであるエピポーララ
イン交差法は強カメラキャリブレーションまたは３枚の
画像（２枚は実画像、１枚は新しい画像）中の８つの対
応点が必要である。強カメラキャリブレーションパラメ
ータを正確に推定することは困難であり、これは再投影
時の誤差に通じる。また３枚の画像中の８つの参照点座
標に含まれる測定誤差は、５点の参照点が必要なアフィ
ン座標に基づいた方法と比較して、再投影時のより大き
な座標誤差を導く。また、シーンの再投影は「希薄な」
画像を生成するだけである。本願発明のようにアフィン
座標を基にした方法では、アフィン空間中の直線の傾き
をそれに対応する平面との距離の指標として使い、「穴
埋め」が行える。エピポーラライン交差アルゴリズムで
は、再投影した点に対応する深さ（画像平面に対するｚ
値）は明示的には計算されず、ゆえに新しい視野の生成
へ拡張することは困難である。

【００７１】既にのべたように、モーフィング手法は、
厄介なステレオマッチング問題を避けることができる反
面、２つの実カメラのカメラ中心を結んだ直線上に仮想
カメラがある場合にしか利用できない。これに対し本願
発明の手法では、まず点の対応問題を解く必要がある
が、仮想カメラは空間中の何処にあっても良いという利
点がある。

【図面の簡単な説明】

【図１】強カメラキャリブレーションを説明するため
の図である。

【図２】３次元再構築法の原理を説明するための図で
ある。

【図３】エピポーララインを説明するための図であ
る。

【図４】平行投影の場合のアフィン変換の原理を説明
するための図である。

【図５】平行投影の場合のα₄とα_iとの関係を示す
図である。

【図６】ピンホール射影系のアフィン座標を説明する
ための図である。

【図７】ピンホール射影の場合のα₄ ^'とα_iとの関
係を示す図である。

【図８】画素抜けを防止するための処理の原理を説明
するための図である。

【図９】本願発明における５つの参照点の配置を示す
図である。

【図１０】本願発明の実施の形態の任意視点画像生成
装置の構成を示す図である。

【図１１】本願発明の実施の形態の任意視点画像生成
装置において行なわれる処理の流れをブロック図形式で
示す図である。

【図１２】本願発明の実施の形態の装置の効果を検証
するための実験に用いたステレオ画像を示す図である。

【図１３】第１の点に対する、３次元再構築手法と本
願発明による手法との効果の違いを、ｘ座標のヒストグ
ラム形式で示す図である。

【図１４】第１の点に対する、３次元再構築手法と本
願発明による手法との効果の違いを、ｙ座標のヒストグ
ラム形式で示す図である。

【図１５】第２の点に対する、３次元再構築手法と本
願発明による手法との効果の違いを、ｘ座標のヒストグ
ラム形式で示す図である。

【図１６】第２の点に対する、３次元再構築手法と本
願発明による手法との効果の違いを、ｙ座標のヒストグ
ラム形式で示す図である。

【図１７】第３の点に対する、３次元再構築手法と本
願発明による手法との効果の違いを、ｘ座標のヒストグ
ラム形式で示す図である。

【図１８】第３の点に対する、３次元再構築手法と本
願発明による手法との効果の違いを、ｙ座標のヒストグ
ラム形式で示す図である。

【図１９】本願発明によるシーン再投影の効果を検証
するための実験に用いられた画像を示す図である。

【図２０】本願発明によるシーン再投影の効果を検証
するための実験に用いられた他の画像を示す図である。

【図２１】本願発明によるシーン再投影の効果を検証
するための実験に用いられたさらに他の画像と、ピンホ
ールモデルによる投影結果とを示す図である。

【図２２】本願発明によるシーン再投影の効果を検証
するための実験に用いられたさらに他の画像と、平行投
影モデルによる投影結果とを示す図である。

【図２３】本願発明によるシーン再投影の効果を検証
するための他の実験に用いられた画像を示す図である。

【図２４】本願発明によるシーン再投影の効果を検証
するための実験における、ピンホールモデルによる投影
結果を示す図である。

【図２５】本願発明によるシーン再投影の効果を検証
するための実験における、極端に左上のカメラ位置から
のピンホールモデルによる投影結果を示す図である。

【符号の説明】

２０基準面２２画像平面２４視線方向３０コンピュータ３２、３４デジタルカメラ３６モニタ

───────────────────────────────────────────────────── フロントページの続き (72)発明者大谷淳京都府相楽郡精華町大字乾谷小字三平谷５番地株式会社エイ・ティ・アール知能映像通信研究所内 (56)参考文献特開平７−296185（ＪＰ，Ａ) 特開平７−294215（ＪＰ，Ａ) 佐藤清秀、北原格、大田友一，”多眼ステレオ法を用いた運動視差の再現可能な３次元画像表示”，３Ｄ映像，1995 年，ＶＯＬ．９，ＮＯ．４，ｐ．26−31 (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T 1/00 G06T 7/00 - 7/60 G06T 15/00 G06T 17/00 - 17/50 G01B 11/00 - 11/30 H04N 13/02

Claims

(57)【特許請求の範囲】

【請求項１】ステレオ画像を取得するための画像取得
手段と、前記画像取得手段により取得されたステレオ画像に基づ
いて、所定の２次元アフィン座標系の基準ベクトルを作
成するための手段と、前記画像取得手段により取得されたステレオ画像に基づ
いて、画像取得時の視点の相対的位置をキャリブレーシ
ョンするための手段と、前記キャリブレーションの結果に基づいて、前記画像取
得手段により取得されたステレオ画像間の点の対応をと
るための手段と、前記基準ベクトルと前記対応をとるための手段の出力と
に基づいて、前記ステレオ画像の各点の座標を前記所定
の２次元アフィン座標系の座標に変換するための第１の
変換手段と、仮想視点位置データに基づいて、前記２次元アフィン座
標系の座標を、ピンホール投影法を用いて仮想視点位置
での２次元アフィン座標に変換するための第２の変換手
段と、前記第２の変換手段の出力から、前記仮想視点位置にお
ける画像を生成するための手段とを含む、任意視点画像
生成装置。