JP3561446B2 - 画像生成方法及びその装置 - Google Patents
画像生成方法及びその装置 Download PDFInfo
- Publication number
- JP3561446B2 JP3561446B2 JP23776699A JP23776699A JP3561446B2 JP 3561446 B2 JP3561446 B2 JP 3561446B2 JP 23776699 A JP23776699 A JP 23776699A JP 23776699 A JP23776699 A JP 23776699A JP 3561446 B2 JP3561446 B2 JP 3561446B2
- Authority
- JP
- Japan
- Prior art keywords
- virtual viewpoint
- image
- camera
- depth
- viewpoint position
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、異なる視点位置で撮像した複数の画像と、その視点位置から見た被写体の奥行情報とから、実際にはカメラの置かれていない視点位置から見た画像を生成する画像生成方法及びその装置に関する。
【０００２】
【従来の技術】
従来、実写イメージを基に、撮像した位置とは異なる視点の画像を生成する方法として、例えば「多視点映像から任意視点映像の生成」（信学技報，ＩＥ９６−１２１；９１−９８，１９９７．）に記載されている方法がある。この方法では、多視点画像から物体の奥行きマップを推定し、このマップを仮想的な視点の奥行きマップに変換した後、与えられた多視点画像を利用して仮想視点画像を生成する。
【０００３】
図１４に、この従来方法で用いる多眼カメラシステムのカメラ配置と仮想視点画像生成の概念を示す。図１４において、９１〜９５はカメラ、９６は生成する仮想視点画像の視点位置と視線方向を示したものである。
【０００４】
この方法では、基準となるカメラ９２で撮影した基準画像中のある点に対し、参照カメラ９１，９３，９４，９５で撮影した各参照画像のエピポーララインに沿ってマッチングウィンドウを１画素ずつ移動させながら、マッチングの尺度であるＳＳＤ（ｓｕｍ ｏｆ ｓｑｕａｒｅｄ−ｄｉｆｆｅｒｅｎｃｅ）を計算する。マッチングウィンドウをｄだけ移動させた時、４つの方向からＳＳＤの値が計算される。このうち、小さい方の２つの値を加算する。このような処理を探索範囲内にわたって行い、その最小値のところのｄを視差として求める。視差ｄと奥行きｚは、カメラの焦点距離ｆとカメラ間距離ｂと次式の関係がある。
【０００５】
ｚ＝ｂｆ／ｄ
この関係を用いて、基準カメラ９２のカメラ位置から見た奥行きマップを生成する。次に、この奥行きマップを９６に示す仮想視点位置から見た奥行きマップに変換する。基準カメラ９２から観測できる領域は、同時に仮想視点画像に、基準カメラ９２によって撮像された画像の色情報を描画して仮想視点画像を生成する。視点の移動に伴い新たに生じた領域は、奥行き値を線形補間し、参照画像の色情報を描画して、仮想視点画像を生成する。
【０００６】
しかしこの従来方法では、使用する多眼画像の各画素について対応点を推定しなければならないため、基準カメラ９２と参照カメラ９１，９３，９４，９５の間隔、すなわち基線長が制限される。仮想視点画像は、多視点画像の色情報を描画して生成されるので、自然な仮想視点画像が得られる仮想視点位置は図１４の点線で示した範囲内に限られる。ゆえに仮想視点の置ける範囲が制限される問題がある。
【０００７】
更に、この方法によって、仮想空間の中を自由に歩き回っているかのような連続した画像、すなわちウォークスルー画像を、実写画像をもとに生成する場合には、基準カメラ９２の位置よりも被写体に近い視点位置での仮想視点画像の解像度が、画像のすべての領域で低下するという問題がある。
【０００８】
このほかの従来技術として、例えば「Ｖｉｅｗ Ｇｅｎｅｒａｔｉｏｎ ｆｏｒ Ｔｈｒｅｅ−Ｄｉｍｅｎｔｉｏｎａｌ Ｓｃｅｎｅｓ ｆｒｏｍ Ｖｉｄｅｏ Ｓｅｑｕｅｎｃｅ」（ＩＥＥＥ Ｔｒａｎｓ．Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ，ｖｏｌ．６ ｐｐ．５８４−５９８， Ａｐｒ １９９７）に記載されているような方法がある。これは、ビデオカメラで撮影した一連の映像シークエンスを基に、３次元空間における物体の位置および輝度の情報を取得し、これを生成しようとする画像の視点に合わせて３次元空間に幾何変換し、さらに２次元平面に射影する方法である。
【０００９】
図１５は、この従来方法の撮影方法を幾何学的に示したものである。図１５において、１０１は被写体、１０２はビデオカメラ、１０３はビデオカメラ１０２で撮影するときの水平な軌道である。この方法では、ビデオカメラ１０２を手に持ち、軌道１０３に沿ってビデオカメラ１０２を移動しながら撮像した映像シークエンスを用いて、３次元空間における物体の位置および輝度の情報を取得する。
【００１０】
図１６は、図１５の方法により撮影した映像シークエンスに含まれる個々の映像フレームの位置関係を示した図である。図１６において、１１１〜１１５はビデオカメラ１０２で撮影した映像フレームである。この図に示すように、個々のフレームが視差像となるので、これらの画像間で対応点を抽出することにより、被写体の３次元空間における位置及び輝度の情報が求められる。
【００１１】
この方法はビデオカメラ１０２を水平に移動しながら撮像した映像シークエンスを用いて仮想視点画像を生成するため、この方法によってビデオカメラ１０２の移動方向に対して垂直方向に移動するウォークスルー画像を生成する場合には、基準カメラ位置よりも被写体に近い仮想視点位置での仮想視点画像の解像度が、画像のすべての領域で低下するという問題がある。
【００１２】
【発明が解決しようとする課題】
このような従来技術の問題点の解決を図るために、本発明者は、特願平１１−１２５６２号で、新たな仮想視点画像生成方法（装置）の発明を開示した。
【００１３】
この本発明者が開示した発明では、複数の視点位置で撮像した画像と各視点位置から見た奥行きマップとを利用して、仮想視点画像を生成する方法を採っている。
【００１４】
確かに、この本発明者が開示した発明によれば、従来技術の持つ問題点を解決できるようになるものの、仮想視点位置に最も近い視点位置で撮像した画像を優先的に用いて仮想視点画像を生成していくという方法を採っていることから、ウォークスルー画像を生成する場合には、その視点位置よりも被写体に近い仮想視点位置での仮想視点画像の解像度が、画像のすべての領域で低下するという問題が残されている。
【００１５】
本発明は、上記問題点を解決するためのものである。本発明の目的は、実カメラ位置よりも被写体の近づいた位置における仮想視点画像の解像度の低下を画像の中心付近で回避し、ぼけや歪みが少なく、写実性が高く、仮想視点位置の移動範囲が広い、ウォークスルー等のアプリケーションにも適用可能な仮想視点画像を生成できるようにする新たな画像生成方法及びその装置を提供することにある。
【００１６】
【課題を解決するための手段】
本発明の前記目的を達成するための代表的な手段の概要を以下に簡単に説明する。
【００１７】
（１）被写体に対向して配置された複数のカメラによって撮像される画像を基に、実際にはカメラの置かれていない仮想視点位置で撮像したような画像を生成する画像生成方法において、
被写体に対向して左右方向、かつ光軸に対して前後方向に配置された複数のカメラにより撮像される実写画像の各画素について被写体までの奥行き値を保持する奥行きマップを生成する第１の処理過程と、
（ｉ）光軸の向きに対して仮想視点位置よりも被写体に近いカメラの中で、最も仮想視点位置に近いカメラを選択し、そのカメラにより撮像される実写画像に対応付けられる奥行きマップを基に、仮想視点位置から見た奥行きマップを生成し、（ ii ）光軸の向きに対して仮想視点位置よりも被写体に近いカメラの中で、その次に仮想視点位置に近いカメラから順に選択し、それらのカメラにより撮像される実写画像に対応付けられる奥行きマップを基に、前記奥行きマップの欠落部分を生成し、 (iii ）光軸の向きに対して仮想視点位置よりも被写体から遠いカメラの中で、最も仮想視点位置に近いカメラから順に選択し、それらのカメラにより撮像される実写画像に対応付けられる奥行きマップを基に、前記奥行きマップの残されている欠落部分を生成することで、仮想視点位置から見た奥行きマップを生成する第２の処理過程と、
生成した仮想視点奥行きマップを基に、その仮想視点奥行きマップの生成元となった奥行きマップに対応付けられる実写画像の画素の色情報を描画することで、仮想視点位置から見た画像を生成する第３の処理過程とを備えることを特徴とする。
【００１８】
（２）（１）記載の画像生成方法において、
第１の処理過程で、多眼カメラにより撮像される実写画像の対応点を抽出し、ステレオ法により三角測量の原理を用いて奥行き値を推定することで奥行きマップを生成することを特徴とする。
【００１９】
（３）（１）記載の画像生成方法において、
第１の処理過程で、レーザ光による画像パターンを被写体に照射することにより奥行き値を推定することで奥行きマップを生成することを特徴とする。
【００２１】
（４）被写体に対向して配置された複数のカメラによって撮像される画像を基に、実際にはカメラの置かれていない仮想視点位置で撮像したような画像を生成する画像生成装置において、
被写体に対向して左右方向、かつ光軸に対して前後方向に配置された複数のカメラにより撮像される実写画像の各画素について被写体までの奥行き値を保持する奥行きマップを生成する手段と、
（ｉ）光軸の向きに対して仮想視点位置よりも被写体に近いカメラの中で、最も仮想視点位置に近いカメラを選択し、そのカメラにより撮像される実写画像に対応付けられる奥行きマップを基に、仮想視点位置から見た奥行きマップを生成し、（ ii ）光軸の向きに対して仮想視点位置よりも被写体に近いカメラの中で、その次に仮想視点位置に近いカメラから順に選択し、それらのカメラにより撮像される実写画像に対応付けられる奥行きマップを基に、前記奥行きマップの欠落部分を生成し、 (iii ）光軸の向きに対して仮想視点位置よりも被写体から遠いカメラの中で、最も仮想視点位置に近いカメラから順に選択し、それらのカメラにより撮像される実写画像に対応付けられる奥行きマップを基に、前記奥行きマップの残されている欠落部分を生成することで、仮想視点位置から見た奥行きマップを生成する手段と、
生成した仮想視点奥行きマップを基に、その仮想視点奥行きマップの生成元となった奥行きマップに対応付けられる実写画像の画素の色情報を描画することで、仮想視点位置から見た画像を生成する手段とを備えることを特徴とする。
【００２２】
すなわち、本発明では、仮想視点位置よりも被写体に近いカメラの中で、仮想視点位置に最も近い視点位置（視点位置Ａ）のカメラから見た奥行きマップを基に被写体の３次元空間中での形状及び位置を求め、この被写体の形状及び位置情報を基に仮想視点位置から見た奥行きマップを生成し、
上記視点位置Ａからでは物体の影等によって隠されている仮想視点奥行きマップの領域を、その領域が隠されず、かつ仮想視点位置よりも被写体に近い他の視点位置（視点位置Ｂ：複数のこともある）のカメラから見た奥行きマップを基に補間し、
上記視点位置Ａ，Ｂからでは撮像範囲外となる仮想視点奥行きマップの領域を、その領域が撮像範囲となる視点位置（仮想視点位置よりも被写体から遠い視点位置Ｃ：複数のこともある）のカメラから見た奥行きマップを基に補間することで、仮想視点奥行きマップを生成する。
【００２３】
そして、生成した仮想視点奥行きマップの３次元情報に従って、上記視点位置Ａで撮像された実写画像の色情報を描画することで、対応する仮想視点画像部分を生成し、
生成した仮想視点奥行きマップの３次元情報に従って、上記視点位置Ｂで撮像された実写画像の色情報を描画することで、上記視点位置Ａからでは物体の影等によって隠されている仮想視点画像の領域を生成し、
生成した仮想視点奥行きマップの３次元情報に従って、上記視点位置Ｃで撮像された実写画像の色情報を描画することで、上記視点位置Ａ，Ｂからでは撮像範囲外となる仮想視点画像の領域を生成することで、仮想視点画像を生成する。
【００２４】
このように、本発明においては、生成しようとする仮想視点画像の撮像範囲を含むように配置した異なる複数の視点位置のカメラから見た奥行きマップを同時に取得し、これらを統合して仮想視点位置から見た奥行きマップを生成して、仮想視点画像を生成していくことを特徴とする。
【００２５】
従来技術のように、多視点画像間の対応点を抽出して多視点画像間を補間する方法とは、本発明では、対応点抽出する多視点画像のカメラ位置の外側に仮想視点位置を置いても写実性の高い仮想視点画像を生成できるという点で異なる。また、本発明では、仮想視点位置をカメラの光軸方向に被写体に近づけても、仮想視点画像の中心部分付近では解像度の低下を抑えることができるという点で異なる。
【００２６】
また、従来技術のように、ビデオカメラを移動しながら視差像を撮像する方法とは、本発明では、仮想視点位置をビデオカメラの移動方向に対して垂直方向に仮想視点位置を移動させても、仮想視点画像の中心部分付近では解像度の低下を抑えることができるという点で異なる。
【００２７】
また、本発明者が先に開示した発明のように、複数の視点位置で撮像した画像と各視点位置から見た奥行きマップとを利用して仮想視点画像を生成する方法とは、本発明では、仮想視点位置をカメラの光軸方向に近づけても、仮想視点画像の中心部分付近では解像度の低下を抑えることができるという点で異なる。
【００２８】
すなわち、本発明は、仮想視点位置よりも被写体に近い視点位置で撮像した奥行きデータおよび画像を優先的に選択して仮想視点画像を生成する手法であるため、仮想視点画像の解像度の低下を最小限に抑えることができる。
【００２９】
また、本発明では、複数の奥行きマップを統合して１枚の仮想視点の奥行きマップを生成するため、奥行きマップの生成に関与しない画像間については対応点を推定する必要がない。従って、すべての多視点画像間の対応点が抽出されなくても、仮想視点画像を生成することができる。このため、多視点画像のカメラ間隔が離れている場合においても、滑らかな仮想視点画像を生成することができる。
【００３０】
また、本発明では、仮想視点位置から見える範囲が、複数の視点位置のカメラの撮像範囲に含まれていれば、仮想視点画像を生成することができるため、カメラの配置にかかる制限を軽減することができる。
【００３１】
また、本発明では、光軸に対して前後方向にもカメラを配置し、仮想視点画像の中心部分付近では仮想視点位置よりも被写体に近いカメラの画像を使って仮想視点画像を生成するため、仮想空間の中を自由に歩き回っているかのような連続した画像、すなわちウォークスルー動画像においてもフレーム間の切り替えが滑らかな動画像を生成することができる。
【００３２】
【発明の実施の形態】
図１は、本発明で用いられるカメラ配置と仮想視点位置の一例を示す図である。
【００３３】
図中、１１〜１６はカメラ位置、１７は仮想視点位置の動く範囲である。１１〜１６のカメラ位置にはそれぞれ多眼カメラが配置されていて、画像を撮像するのと同時に、それぞれの場所から見た奥行きマップを取得することができる。すべてのカメラの光軸は、互いに平行になるように配置されている。また、すべてのカメラの３次元空間中の位置は既知とする。
【００３４】
この図１のカメラ配置では、仮想視点位置１７がカメラ位置１１，１２，１５，１６に囲まれた平面上にあり、視野範囲の領域がカメラの撮像範囲に含まれているような視線方向である場合に、欠損領域の少ない仮想視点画像が得られる。図１では６カ所の位置で、撮像画像と奥行きマップを取得する場合を示したが、撮像画像と奥行きマップを取得する視点位置の数に制約はない。
【００３５】
図２は、本発明を実現するための機能構成の一実施例である。
【００３６】
図中、２１は上下左右のマトリックス状に配置された多眼カメラからなる多眼画像入力手段、２２は多眼画像入力手段２１で入力された多眼画像から奥行きデータを検出し、画像の各画素に奥行きデータを格納した奥行きマップを生成する奥行きマップ生成手段、２５は仮想視点奥行きマップおよび仮想視点画像を生成するために用いるカメラの視点位置の順序を決定する視点位置選択手段、２３は奥行きマップ生成手段２２で生成された奥行きマップを基にして、視点位置選択手段２５で決定された順序に従って仮想視点奥行きマップを生成する仮想視点奥行きマップ生成手段、２４は多眼画像入力手段２１で入力された多眼画像から、奥行きマップ生成手段２２で生成された仮想視点奥行きマップの奥行きデータに基づいて仮想視点画像を生成する仮想視点画像生成手段である。
【００３７】
ここで、奥行きマップ生成手段２２では、例えば多眼カメラ画像の対応点を抽出してステレオ法により奥行きを推定する方法で奥行きマップを生成したり、レーザ光による画像パターンを照射することなどにより能動的に被写体の奥行きを得る方法（例えばレーザレンジファインダを用いる方法）で奥行きマップを生成する。
【００３８】
次に、視点位置選択手段２５において、仮想視点画像を生成する基となるカメラを選ぶ順序について説明する。
【００３９】
視点位置選択手段２５は、まず、光軸の向きに対して仮想視点位置よりも被写体に近いカメラの中で、最も仮想視点位置に近いカメラを第１順位で用いるカメラ、その次に近いものを第２順位で用いるカメラとして選択する。前記光軸の向きに対して仮想視点位置よりも被写体に近い位置で撮像したカメラの画像は、被写体の詳細なデータを持つという特徴がある。
【００４０】
視点位置選択手段２５は、次に、その選択したカメラの視点位置からでは仮想視点画像で撮像範囲外となるような領域を撮像範囲に含むカメラの中で、最も仮想視点位置に近いカメラから順に第３順位で用いるカメラ、第４順位で用いるカメラを選択する。すなわち、光軸の向きに対して仮想視点位置よりも被写体から遠いカメラの中で、最も仮想視点位置に近いカメラを第３順位で用いるカメラ、その次に近いものを第４順位で用いるカメラとして選択する。前記光軸の向きに対して仮想視点位置よりも被写体から遠い位置で撮像したカメラの画像は、撮像範囲が広いという特徴がある。
【００４１】
このカメラの選択順序について、図３を用いて具体的に説明する。図３において、５１は被写体、５２〜５５はカメラ、５６は仮想視点位置である。カメラ５２〜５５の光軸はＺ軸に平行であり、仮想視点位置からＺ軸に平行な視線方向で撮像したような仮想視点画像を生成するものとする。
【００４２】
図３のような配置の場合、視点位置選択手段２５は、仮想視点位置よりも被写体に近い位置にあるカメラの中で被写体に最も近いカメラ５２を第１順位で用いるカメラとし、その次に近いカメラ５３を第２順位で用いるカメラとして選択する。そして、仮想視点位置よりも被写体から遠い位置にあるカメラの中で被写体に最も近いカメラ５４を第３順位で用いるカメラ、その次に近いカメラ５５を第４順位で用いるカメラとして選択する。
【００４３】
次に、奥行きマップ生成手段２２の処理について説明する。
【００４４】
上述したように、奥行きマップ生成手段２２は、多眼カメラ画像の対応点を抽出してステレオ法により奥行きを推定する方法で奥行きマップを生成したり、レーザレンジファインダなどを用いる方法で奥行きマップを生成することになるが、ここでは、前者の方法で奥行きマップを生成することで説明する。
【００４５】
この奥行きマップは、ある視点位置から撮影された画像中の各画素について、カメラから被写体までの距離の値を保持するものである。いわば、通常の画像は画像面上の各画素に輝度と色度とが対応しているものであるのに対し、奥行きマップは画像面上の各画素に奥行き値が対応しているのである。
【００４６】
多眼カメラとして、図４に示すように、原点に基準カメラ６１を置き、その周りの一定の距離Ｌに４つの参照カメラ６２〜６５を置くものを想定する。すべてのカメラの光軸は平行にする。また、すべてのカメラは同じ仕様のものを用い、仕様の違いはカメラの構成に応じて補正し、図４に示すような幾何学構成に補正する。
【００４７】
図４の配置では、３次元空間の点Ｐ＝（Ｘ，Ｙ，Ｚ）は、Ｘ−Ｙ平面から焦点距離ｆの距離にある基準画像上の点ｐ０ ＝（ｕ０，ｖ０ ）に投影される。ここで、「ｕ０ ＝ｆＸ／Ｚ，ｖ０ ＝ｆＹ／Ｚ」である。また、点Ｐは、参照カメラＣｉ （ｉ＝１〜４）の画像上の点ｐｉ ＝（ｕｉ，ｖｉ ）にも投影される。ここで、
ｕｉ ＝ｆ（Ｘ−Ｄｉ，ｘ ）／Ｚ ｖｉ ＝ｆ（Ｙ−Ｄｉ，ｙ ）／Ｚ
但し、Ｄ１ ＝（Ｄ１，ｘ ，Ｄ１，ｙ ）＝（Ｌ，０）
Ｄ２ ＝（Ｄ２，ｘ ，Ｄ２，ｙ ）＝（−Ｌ，０）
Ｄ３ ＝（Ｄ３，ｘ ，Ｄ３，ｙ ）＝（０，Ｌ）
Ｄ４ ＝（Ｄ４，ｘ ，Ｄ４，ｙ ）＝（０，−Ｌ）
である。
【００４８】
すべての参照カメラ６２〜６５と基準カメラ６１の基線長が等しい構成の下では、点Ｐの真の視差ｄｉ は、すべてのｉに対して、
ｄｉ ＝ｆＬ／Ｚ＝｜ｐｉ −ｐ０ ｜
であることから、視差ｄｉ を推定することによって奥行きＺが取得できる。なお、視差から奥行きを求めるためには最低２台のカメラがあれば可能である。
【００４９】
次に、仮想視点奥行きマップ生成手段２３の処理について説明する。
【００５０】
仮想視点奥行きマップ生成手段２３は、奥行きマップ生成手段２２で生成された奥行きマップとカメラの位置情報とから、仮想視点位置から見た奥行きマップを生成する。
【００５１】
図５に、実写画像を撮影した視点と仮想視点のカメラ座標系と投影画像面の座標系とを示す。選択された奥行きマップのカメラ座標系を（Ｘ１，Ｙ１，Ｚ１ ）Ｔ 、仮想視点位置のカメラ座標系を（Ｘ２，Ｙ２，Ｚ２ ）Ｔ とする。
【００５２】
この選択された奥行きマップ上の任意の点ｐ１ ＝（ｕ１，ｖ１ ）に投影された３次元空間の点Ｐ＝（Ｘ１，Ｙ１，Ｚ１ ）Ｔ のＺ１ が求められているとき、実視点の座標系から見た点ＰのＸ，Ｙ座標はそれぞれ
Ｘ１ ＝Ｚ１ ｕ１ ／ｆ （式１）
Ｙ１ ＝Ｚ１ ｖ１ ／ｆ （式２）
で与えられる。ここで、ｆはカメラの焦点距離である。
【００５３】
今、二つの座標系（Ｘ１，Ｙ１，Ｚ１ ）Ｔ と（Ｘ２，Ｙ２，Ｚ２ ）Ｔ とが、回転行列Ｒ２１＝〔ｒｉｊ〕∈Ｒ３＊３ と並進行列Ｔ２１＝（Δｘ，Δｙ，Δｚ）Ｔ とを用いて
（Ｘ２，Ｙ２，Ｚ２ ）Ｔ ＝Ｒ２１（Ｘ１，Ｙ１，Ｚ１ ）Ｔ ＋Ｔ２１ （式３）
の関係で表せるとする。
【００５４】
（式３）より得られた奥行き値Ｚ２ は、仮想視点座標系（Ｘ２，Ｙ２，Ｚ２ ）Ｔ で見た点Ｐの奥行き値である。点Ｐ＝（Ｘ２，Ｙ２，Ｚ２ ）Ｔ は、仮想視点奥行きマップ上の点ｐ２ ＝（ｕ２，ｖ２ ）に投影される。この（ｕ２，ｖ２ ）は、（式３）により得られたＸ２，Ｙ２ を用いて、次式により求められる。
【００５５】
ｕ２ ＝ｆＸ２ ／Ｚ２ （式４）
ｖ２ ＝ｆＹ２ ／Ｚ２ （式５）
従って、仮想視点奥行きマップ上の点ｐ２ ＝（ｕ２，ｖ２ ）の奥行き値をＺ２ と決定できる。
【００５６】
以上の処理を、奥行きマップ中のすべての点（ｕ１，ｖ１ ）について繰り返し行い、選択された奥行きマップの保持する奥行きの値を、仮想視点から見た奥行きマップ中の画素の奥行き値に変換する。
【００５７】
このとき、同時に（ｕ１，ｖ１ ）の画素の輝度値と色度値とを、仮想視点画像上の画素（ｕ２，ｖ２ ）に描画すると、仮想視点画像を生成することができる。
【００５８】
しかし、ここで生成される仮想視点奥行きマップには、奥行き値の欠損した画素や奥行き値にノイズが含まれる場合がある。このような場合は、奥行き値の欠損した画素を、周囲の画素の奥行き値を用いて線形に補間したり、奥行きマップを平滑化処理することにより、奥行き値の欠損部分やノイズの少ない仮想視点奥行きマップを生成することができる。
【００５９】
次に、この補間処理及び平滑化処理について、図６を用いて説明する。ここで、図６（Ｂ）〜（Ｅ）は、図６（Ａ）に示す球を撮像した画像を走査線Ａ−Ｂで切断し、その走査線上の奥行きの値を縦軸に表したものである。
【００６０】
この補間処理では、仮想視点奥行きマップ生成手段２３で生成された（Ｂ）に示す仮想視点奥行きマップ中の、オクルージョンにより視差が推定できなかったために奥行き値を持たない画素７１の奥行き値を、局所的な領域内では奥行きは急激に変化しないという仮定の下、奥行き値が既知である周囲の画素７２の奥行き値等を用いて線形補間することで求める。その結果として、すべての画素の奥行き値を持つ（Ｃ）に示す仮想視点奥行きマップが生成される。
【００６１】
一方、この平滑化処理では、補間処理により求められた（Ｃ）に示す仮想視点奥行きマップの奥行き値の平滑化処理を行う。まず、仮想視点奥行きマップの走査線上で奥行き値が急激に変換している画素７３の奥行き値を除去し、局所的な領域内では奥行きは急激に変化しないという仮定の下、周囲の画素７４の奥行き値を用いて線形補間処理を行い、（Ｄ）に示す仮想視点奥行きマップを生成する。更に、被写体の表面を滑らかな局面で近似するために、仮想視点奥行きマップ全体に対して平滑化処理を行い、（Ｅ）に示す仮想視点奥行きマップを得る。
【００６２】
次に、仮想視点画像生成手段２４の処理について、図７を用いて説明する。
【００６３】
仮想視点画像生成手段２４は、仮想視点奥行きマップ生成手段２３で用いた座標変換の逆変換を行うことで、仮想視点奥行きマップ中の点ｐ２ ＝（ｕ２，ｖ２ ）に対応する実写画像上の点ｐ３ ＝（ｕ３，ｖ３ ）を求めて、この点（ｕ３，ｖ３ ）の画素の輝度値と色度値を、仮想視点画像中の点（ｕ２，ｖ２ ）に描画することで仮想視点画像を生成する。
【００６４】
仮想視点画像生成手段２４で用いる座標変換は、仮想視点奥行きマップ生成手段２３で用いたものの逆変換にあたる。仮想視点奥行きマップ生成手段２３の生成した仮想視点奥行きマップに線形補間処理や平滑化処理を加えたことにより、仮想視点奥行きマップの保持する奥行き値が変化しているため、もう一度新しい奥行き値を用いて座標変換を行う必要があることから、この逆変換を行うのである。
【００６５】
ここで、仮想視点奥行きマップの座標系を（Ｘ２，Ｙ２，Ｚ２ ）Ｔ 、多眼画像（図４に示したような多眼カメラにより撮像される画像）の中の任意の１枚の座標系を（Ｘ３，Ｙ３，Ｚ３ ）Ｔ とする。
【００６６】
仮想視点奥行きマップ中の任意の点ｐ２ ＝（ｕ２，ｖ２ ）の画素の奥行き値がＺ２ であるとき、この画素ｐ２ ＝（ｕ２，ｖ２ ）に投影される被写体の３次元空間中の点Ｐ＝（Ｘ２，Ｙ２，Ｚ２ ）Ｔ の座標は、
Ｘ２ ＝Ｚ２ ｕ２ ／ｆ （式６）
Ｙ２ ＝Ｚ２ ｖ２ ／ｆ （式７）
で与えられる。ここで、ｆはカメラの焦点距離である。
【００６７】
今、二つの座標系（Ｘ２，Ｙ２，Ｚ２ ）Ｔ と（Ｘ３，Ｙ３，Ｚ３ ）Ｔ とが、回転行列Ｒ３２＝〔ｒｉｊ〕∈Ｒ３＊３ と並進行列Ｔ３２＝（Δｘ，Δｙ，Δｚ）Ｔ を用いて
（Ｘ３，Ｙ３，Ｚ３ ）Ｔ ＝Ｒ３２（Ｘ２，Ｙ２，Ｚ２ ）Ｔ ＋Ｔ３２ （式８）
の関係で表せるとする。
【００６８】
Ｚ２ と（式６）により求まるＸ２ と（式７）により求まるＹ２ とを（式８）に代入すると、（Ｘ３，Ｙ３，Ｚ３ ）Ｔ 系で見た、仮想視点画像中の点（ｕ２，ｖ２ ）に投影される被写体の３次元空間中の点Ｐ＝（Ｘ３，Ｙ３，Ｚ３ ）Ｔ が計算される。この点Ｐは実写画像上の点ｐ３ ＝（ｕ３，ｖ３ ）に投影される。
【００６９】
この（ｕ３，ｖ３ ）は、（式８）式により得られたＸ３，Ｙ３ を用いて、次式により計算することができる。
【００７０】
ｕ３ ＝ｆＸ３ ／Ｚ３ （式９）
ｖ３ ＝ｆＹ３ ／Ｚ３ （式１０）
この（式９）（式１０）により計算された撮像画像中の点（ｕ３，ｖ３ ）の画素の輝度値と色度値を、仮想視点画像中の点（ｕ２，ｖ２ ）に描画する。この処理を撮像画像中のすべての点について繰り返し行うことで、仮想視点画像が生成されることになる。
【００７１】
上述したように、視点位置選択手段２５は、図３のようにカメラが配置される場合には、仮想視点位置よりも被写体に近い位置にあるカメラの中で仮想視点位置に最も近いカメラ５２を第１順位で用いるカメラとし、その次に仮想視点位置に近いカメラ５３を第２順位で用いるカメラとして選択する。そして、仮想視点位置よりも被写体から遠い位置にあるカメラの中で仮想視点位置に最も近いカメラ５４を第３順位で用いるカメラとし、その次に仮想視点位置に近いカメラ５５を第４順位で用いるカメラとして選択する。
【００７２】
このようにして選択される４つのカメラからの奥行きマップと画像とを用いて仮想視点画像を生成する効果を、図８を用いて説明する。
【００７３】
第１順位から第４順位のカメラからの奥行きマップと画像とから生成された仮想視点画像は、図８に示したようなａ，ｂ，ｃ，ｄの４つの領域におおまかに分けることができる。ａ，ｂ，ｃ，ｄの４つの領域は、それぞれ５２，５３，５４，５５のカメラの奥行きマップと画像とを基に生成されたものである。
【００７４】
カメラ５４とカメラ５５とで撮像される範囲を合わせると、仮想視点位置で撮像される範囲を十分に含んでいるため、カメラ５４とカメラ５５の奥行きマップと画像とから仮想視点画像を生成することができるが、生成される仮想視点画像の解像度は、もとの画像の解像度よりも粗くなる。そこで、仮想視点画像の中心部分についてはカメラ５２とカメラ５３の奥行きマップと画像とを用いることで、仮想視点画像の解像度の低下を抑えることができる。
【００７５】
次に、図９〜図１１に従って、本実施例の手順について詳細に説明する。
【００７６】
図９（ａ）は第１順位のカメラ５２の撮像した画像、図９（ｂ）は第２順位のカメラ５３の撮像した画像、図９（ｃ）はカメラ５２の撮像した画像（多眼画像）から生成された奥行きマップ、図９（ｄ）はカメラ５３の撮像した画像（多眼画像）から生成された奥行きマップである。
【００７７】
図１０（ａ）は第３順位のカメラ５４の撮像した画像、図１０（ｂ）は第４順位のカメラ５５の撮像した画像、図１０（ｃ）はカメラ５４の撮像した画像（多眼画像）から生成された奥行きマップ、図１０（ｄ）はカメラ５５の撮像した画像（多眼画像）から生成された奥行きマップである。
【００７８】
ここで、これら奥行きマップでは、奥行き値が濃淡値で表されており、視点位置と被写体との間の距離が近づくほど、薄い色で示されている。
【００７９】
図１１（ａ）は、図９（ｃ）（ｄ）に示す奥行きマップをもとに生成された、図３に示す仮想視点位置５６での仮想視点奥行きマップである。図１１（ａ）の上下に現れている空白の領域は、カメラ５２およびカメラ５３での撮像範囲外の領域であるために、仮想視点奥行きマップ上では奥行き値が欠損している領域である。
【００８０】
図１１（ｂ）は、図１１（ａ）の仮想視点奥行きマップに図９（ａ）（ｂ）の画像をマッピングして生成された仮想視点画像である。図１１（ｂ）の上下に現れている空白の領域は、図１１（ａ）の仮想視点奥行きマップで奥行き値が欠損しているために、画像をマッピングすることができない領域である。
【００８１】
このように、図１１（ｂ）は、仮想視点位置より被写体に近い視点位置で撮像された実写画像およびその視点位置から見た奥行きマップをもとに生成されているため、解像度の低下はないが、生成できる画像サイズがもとの画像サイズよりも小さい。
【００８２】
図１１（ｃ）は、図１１（ａ）の奥行きマップの欠損部分を、図１０（ｃ）（ｄ）に示す奥行きマップの持つ奥行き情報をもとに補間した仮想視点奥行きマップである。
【００８３】
図１１（ｄ）は、図１１（ｂ）の仮想視点画像の欠損部分に、図１１（ｃ）の奥行き情報をもとに図１０（ａ）（ｂ）の画像をマッピングして生成された仮想視点画像である。図１１（ｄ）で新たに生成された領域は、もとの画像より解像度が低下しているものの、画像の中心部分ではもとの画像の解像度が保たれている。
【００８４】
このようにして、本発明では、仮想視点位置よりも被写体に近い視点位置で撮像した奥行きデータおよび画像を優先的に選択して仮想視点画像を生成する手法であるため、仮想視点画像の解像度の低下を最小限に抑えることができるのである。
【００８５】
本発明で用いられるカメラ配置と仮想視点位置は、図１に示したものに限られるものではない。
【００８６】
例えば、図１２に示すようなカメラ配置と仮想視点位置に対しても、そのまま適用できる。
【００８７】
図中、３１〜３６はカメラ位置、３７は仮想視点位置の動く範囲である。３１〜３６のカメラ位置にはそれぞれ多眼カメラが配置されていて、画像を撮像するのと同時に、それぞれの場所から見た奥行きマップを取得することができる。すべてのカメラの光軸は、被写体に対向してｙ軸からθｉ （ｉ＝３１〜３６、添字ｉはカメラ位置を示す）回転した方向とする。
【００８８】
この図１２のカメラ配置では、仮想視点位置３７がカメラ位置３１，３２，３５，３６に囲まれた平面上にあり、視野範囲の領域がカメラの撮像範囲に含まれているような視線方向である場合に、欠損領域の少ない仮想視点画像が得られる。
【００８９】
図１２に示した配置は、カメラの配置できる場所に制限がある場合に、仮想空間の中を自由に歩き回っているかのような連続した画像、すなわちウォークスルー画像を提供する場合に有効である。すべてのカメラの３次元空間中の位置は既知とする。図１２では６カ所の位置で撮像した画像と奥行きマップを取得する場合を示したが、画像と奥行きマップを取得する視点位置の数に制約はない。
【００９０】
また、図１３に示すようなカメラ配置と仮想視点位置に対しても、そのまま適用できる。
【００９１】
図中、４１〜４６はカメラ位置、４７は仮想視点位置の動く範囲である。４１〜４６のカメラ位置にはそれぞれ多眼カメラが３６０度見回せるように配置されていて、画像を撮像するのと同時に、それぞれの場所から見た全周方向の奥行きマップを取得することができる。すべてのカメラの光軸は、被写体に対向してｘ軸からΦｉ （ｉ＝４１〜４６、添字ｉはカメラ位置を示す）ｙ軸からθｉ （ｉ＝４１〜４６、添字ｉはカメラ位置を示す）回転した方向とする。
【００９２】
この図１３のカメラ配置では、仮想視点位置４７がカメラ位置４１，４２，４５，４６に囲まれた平面よりも下部の領域（点線で囲まれた領域）にあり、視野範囲の領域がカメラの撮像範囲に含まれているような視線方向である場合に、欠損領域の少ない仮想視点画像が得られる。
【００９３】
このような配置は、部屋の天井にカメラを配置した場合に、３６０度任意の視線方向も可能なウォークスルー画像を提供する場合に有効である。すべてのカメラの３次元空間中の位置は既知とする。図１３では６カ所の位置で撮像した画像と奥行きマップを取得する場合を示したが、画像と奥行きマップを取得する視点位置の数に制約はない。
【００９４】
図示実施例に従って本発明を説明したが、本発明はこれに限定されるものではない。例えば、実施例では、被写体に対向して前後左右に配置される６台のカメラを想定したが、カメラの台数や配置形態はこれに限られるものではない。
【００９５】
また、実施例では、先ず最初に、仮想視点位置よりも被写体に近いカメラの中で、最も仮想視点位置に近いカメラを選択することで仮想視点奥行きマップの基本部分を生成し、それに続いて、仮想視点位置よりも被写体から遠いカメラの中で、被写体に近いカメラを優先的に選択していくことで、その仮想視点奥行きマップの欠落個所を生成して仮想視点奥行きマップを完成させていくという方法を用いたが、高速処理が要求される場合には、画質よりも処理速度を優先させて、そのような順番に従わずにカメラを選択していくことで、仮想視点奥行きマップを高速に完成させていくという方法を用いてもよい。
【００９６】
【発明の効果】
以上説明したように、本発明では、仮想視点位置よりも被写体に近い視点位置で撮像した奥行きデータおよび画像を優先的に選択して仮想視点画像を生成する手法であるため、仮想視点画像の解像度の低下を最小限に抑えることができるようになる。
【００９７】
また、本発明では、複数の奥行きマップを統合して１枚の仮想視点の奥行きマップを生成するため、奥行きマップの生成に関与しない画像間については対応点を推定する必要がない。従って、すべての多視点画像間の対応点が抽出されなくても、仮想視点画像を生成することができる。このため、多視点画像のカメラ間隔が離れている場合においても、滑らかな仮想視点画像を生成することができるようになる。
【００９８】
また、本発明では、仮想視点位置から見える範囲が、複数の視点位置のカメラの撮像範囲に含まれていれば、仮想視点画像を生成することができるため、カメラの配置にかかる制限を軽減することができるようになる。
【００９９】
また、本発明では、光軸に対して前後方向にもカメラを配置し、仮想視点画像の中心部分付近では仮想視点位置よりも被写体に近いカメラの画像を使って仮想視点画像を生成するため、ウォークスルー動画像においてもフレーム間の切り替えが滑らかな動画像を生成することができるようになる。
【図面の簡単な説明】
【図１】本発明で用いられるカメラ配置／仮想視点位置の一例である。
【図２】本発明を実現するための機能構成の一実施例である。
【図３】カメラの選択手順の説明図である。
【図４】多眼カメラシステムの一例である。
【図５】仮想視点奥行きマップ生成手段で用いる座標変換の説明図である。
【図６】補間処理／平滑化処理の説明図である。
【図７】仮想視点画像生成手段で用いる座標変換の説明図である。
【図８】本発明により生成される仮想視点画像の説明図である。
【図９】実施例の動作説明図である。
【図１０】実施例の動作説明図である。
【図１１】実施例の動作説明図である。
【図１２】本発明で用いられるカメラ配置／仮想視点位置の他の例である。
【図１３】本発明で用いられるカメラ配置／仮想視点位置の他の例である。
【図１４】従来技術の説明図である。
【図１５】従来技術の説明図である。
【図１６】従来技術の説明図である。
【符号の説明】
２１ 多眼画像入力手段
２２ 奥行きマップ生成手段
２３ 仮想視点奥行きマップ生成手段
２４ 仮想視点画像生成手段
２５ 視点位置選択手段
【発明の属する技術分野】
本発明は、異なる視点位置で撮像した複数の画像と、その視点位置から見た被写体の奥行情報とから、実際にはカメラの置かれていない視点位置から見た画像を生成する画像生成方法及びその装置に関する。
【０００２】
【従来の技術】
従来、実写イメージを基に、撮像した位置とは異なる視点の画像を生成する方法として、例えば「多視点映像から任意視点映像の生成」（信学技報，ＩＥ９６−１２１；９１−９８，１９９７．）に記載されている方法がある。この方法では、多視点画像から物体の奥行きマップを推定し、このマップを仮想的な視点の奥行きマップに変換した後、与えられた多視点画像を利用して仮想視点画像を生成する。
【０００３】
図１４に、この従来方法で用いる多眼カメラシステムのカメラ配置と仮想視点画像生成の概念を示す。図１４において、９１〜９５はカメラ、９６は生成する仮想視点画像の視点位置と視線方向を示したものである。
【０００４】
この方法では、基準となるカメラ９２で撮影した基準画像中のある点に対し、参照カメラ９１，９３，９４，９５で撮影した各参照画像のエピポーララインに沿ってマッチングウィンドウを１画素ずつ移動させながら、マッチングの尺度であるＳＳＤ（ｓｕｍ ｏｆ ｓｑｕａｒｅｄ−ｄｉｆｆｅｒｅｎｃｅ）を計算する。マッチングウィンドウをｄだけ移動させた時、４つの方向からＳＳＤの値が計算される。このうち、小さい方の２つの値を加算する。このような処理を探索範囲内にわたって行い、その最小値のところのｄを視差として求める。視差ｄと奥行きｚは、カメラの焦点距離ｆとカメラ間距離ｂと次式の関係がある。
【０００５】
ｚ＝ｂｆ／ｄ
この関係を用いて、基準カメラ９２のカメラ位置から見た奥行きマップを生成する。次に、この奥行きマップを９６に示す仮想視点位置から見た奥行きマップに変換する。基準カメラ９２から観測できる領域は、同時に仮想視点画像に、基準カメラ９２によって撮像された画像の色情報を描画して仮想視点画像を生成する。視点の移動に伴い新たに生じた領域は、奥行き値を線形補間し、参照画像の色情報を描画して、仮想視点画像を生成する。
【０００６】
しかしこの従来方法では、使用する多眼画像の各画素について対応点を推定しなければならないため、基準カメラ９２と参照カメラ９１，９３，９４，９５の間隔、すなわち基線長が制限される。仮想視点画像は、多視点画像の色情報を描画して生成されるので、自然な仮想視点画像が得られる仮想視点位置は図１４の点線で示した範囲内に限られる。ゆえに仮想視点の置ける範囲が制限される問題がある。
【０００７】
更に、この方法によって、仮想空間の中を自由に歩き回っているかのような連続した画像、すなわちウォークスルー画像を、実写画像をもとに生成する場合には、基準カメラ９２の位置よりも被写体に近い視点位置での仮想視点画像の解像度が、画像のすべての領域で低下するという問題がある。
【０００８】
このほかの従来技術として、例えば「Ｖｉｅｗ Ｇｅｎｅｒａｔｉｏｎ ｆｏｒ Ｔｈｒｅｅ−Ｄｉｍｅｎｔｉｏｎａｌ Ｓｃｅｎｅｓ ｆｒｏｍ Ｖｉｄｅｏ Ｓｅｑｕｅｎｃｅ」（ＩＥＥＥ Ｔｒａｎｓ．Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ，ｖｏｌ．６ ｐｐ．５８４−５９８， Ａｐｒ １９９７）に記載されているような方法がある。これは、ビデオカメラで撮影した一連の映像シークエンスを基に、３次元空間における物体の位置および輝度の情報を取得し、これを生成しようとする画像の視点に合わせて３次元空間に幾何変換し、さらに２次元平面に射影する方法である。
【０００９】
図１５は、この従来方法の撮影方法を幾何学的に示したものである。図１５において、１０１は被写体、１０２はビデオカメラ、１０３はビデオカメラ１０２で撮影するときの水平な軌道である。この方法では、ビデオカメラ１０２を手に持ち、軌道１０３に沿ってビデオカメラ１０２を移動しながら撮像した映像シークエンスを用いて、３次元空間における物体の位置および輝度の情報を取得する。
【００１０】
図１６は、図１５の方法により撮影した映像シークエンスに含まれる個々の映像フレームの位置関係を示した図である。図１６において、１１１〜１１５はビデオカメラ１０２で撮影した映像フレームである。この図に示すように、個々のフレームが視差像となるので、これらの画像間で対応点を抽出することにより、被写体の３次元空間における位置及び輝度の情報が求められる。
【００１１】
この方法はビデオカメラ１０２を水平に移動しながら撮像した映像シークエンスを用いて仮想視点画像を生成するため、この方法によってビデオカメラ１０２の移動方向に対して垂直方向に移動するウォークスルー画像を生成する場合には、基準カメラ位置よりも被写体に近い仮想視点位置での仮想視点画像の解像度が、画像のすべての領域で低下するという問題がある。
【００１２】
【発明が解決しようとする課題】
このような従来技術の問題点の解決を図るために、本発明者は、特願平１１−１２５６２号で、新たな仮想視点画像生成方法（装置）の発明を開示した。
【００１３】
この本発明者が開示した発明では、複数の視点位置で撮像した画像と各視点位置から見た奥行きマップとを利用して、仮想視点画像を生成する方法を採っている。
【００１４】
確かに、この本発明者が開示した発明によれば、従来技術の持つ問題点を解決できるようになるものの、仮想視点位置に最も近い視点位置で撮像した画像を優先的に用いて仮想視点画像を生成していくという方法を採っていることから、ウォークスルー画像を生成する場合には、その視点位置よりも被写体に近い仮想視点位置での仮想視点画像の解像度が、画像のすべての領域で低下するという問題が残されている。
【００１５】
本発明は、上記問題点を解決するためのものである。本発明の目的は、実カメラ位置よりも被写体の近づいた位置における仮想視点画像の解像度の低下を画像の中心付近で回避し、ぼけや歪みが少なく、写実性が高く、仮想視点位置の移動範囲が広い、ウォークスルー等のアプリケーションにも適用可能な仮想視点画像を生成できるようにする新たな画像生成方法及びその装置を提供することにある。
【００１６】
【課題を解決するための手段】
本発明の前記目的を達成するための代表的な手段の概要を以下に簡単に説明する。
【００１７】
（１）被写体に対向して配置された複数のカメラによって撮像される画像を基に、実際にはカメラの置かれていない仮想視点位置で撮像したような画像を生成する画像生成方法において、
被写体に対向して左右方向、かつ光軸に対して前後方向に配置された複数のカメラにより撮像される実写画像の各画素について被写体までの奥行き値を保持する奥行きマップを生成する第１の処理過程と、
（ｉ）光軸の向きに対して仮想視点位置よりも被写体に近いカメラの中で、最も仮想視点位置に近いカメラを選択し、そのカメラにより撮像される実写画像に対応付けられる奥行きマップを基に、仮想視点位置から見た奥行きマップを生成し、（ ii ）光軸の向きに対して仮想視点位置よりも被写体に近いカメラの中で、その次に仮想視点位置に近いカメラから順に選択し、それらのカメラにより撮像される実写画像に対応付けられる奥行きマップを基に、前記奥行きマップの欠落部分を生成し、 (iii ）光軸の向きに対して仮想視点位置よりも被写体から遠いカメラの中で、最も仮想視点位置に近いカメラから順に選択し、それらのカメラにより撮像される実写画像に対応付けられる奥行きマップを基に、前記奥行きマップの残されている欠落部分を生成することで、仮想視点位置から見た奥行きマップを生成する第２の処理過程と、
生成した仮想視点奥行きマップを基に、その仮想視点奥行きマップの生成元となった奥行きマップに対応付けられる実写画像の画素の色情報を描画することで、仮想視点位置から見た画像を生成する第３の処理過程とを備えることを特徴とする。
【００１８】
（２）（１）記載の画像生成方法において、
第１の処理過程で、多眼カメラにより撮像される実写画像の対応点を抽出し、ステレオ法により三角測量の原理を用いて奥行き値を推定することで奥行きマップを生成することを特徴とする。
【００１９】
（３）（１）記載の画像生成方法において、
第１の処理過程で、レーザ光による画像パターンを被写体に照射することにより奥行き値を推定することで奥行きマップを生成することを特徴とする。
【００２１】
（４）被写体に対向して配置された複数のカメラによって撮像される画像を基に、実際にはカメラの置かれていない仮想視点位置で撮像したような画像を生成する画像生成装置において、
被写体に対向して左右方向、かつ光軸に対して前後方向に配置された複数のカメラにより撮像される実写画像の各画素について被写体までの奥行き値を保持する奥行きマップを生成する手段と、
（ｉ）光軸の向きに対して仮想視点位置よりも被写体に近いカメラの中で、最も仮想視点位置に近いカメラを選択し、そのカメラにより撮像される実写画像に対応付けられる奥行きマップを基に、仮想視点位置から見た奥行きマップを生成し、（ ii ）光軸の向きに対して仮想視点位置よりも被写体に近いカメラの中で、その次に仮想視点位置に近いカメラから順に選択し、それらのカメラにより撮像される実写画像に対応付けられる奥行きマップを基に、前記奥行きマップの欠落部分を生成し、 (iii ）光軸の向きに対して仮想視点位置よりも被写体から遠いカメラの中で、最も仮想視点位置に近いカメラから順に選択し、それらのカメラにより撮像される実写画像に対応付けられる奥行きマップを基に、前記奥行きマップの残されている欠落部分を生成することで、仮想視点位置から見た奥行きマップを生成する手段と、
生成した仮想視点奥行きマップを基に、その仮想視点奥行きマップの生成元となった奥行きマップに対応付けられる実写画像の画素の色情報を描画することで、仮想視点位置から見た画像を生成する手段とを備えることを特徴とする。
【００２２】
すなわち、本発明では、仮想視点位置よりも被写体に近いカメラの中で、仮想視点位置に最も近い視点位置（視点位置Ａ）のカメラから見た奥行きマップを基に被写体の３次元空間中での形状及び位置を求め、この被写体の形状及び位置情報を基に仮想視点位置から見た奥行きマップを生成し、
上記視点位置Ａからでは物体の影等によって隠されている仮想視点奥行きマップの領域を、その領域が隠されず、かつ仮想視点位置よりも被写体に近い他の視点位置（視点位置Ｂ：複数のこともある）のカメラから見た奥行きマップを基に補間し、
上記視点位置Ａ，Ｂからでは撮像範囲外となる仮想視点奥行きマップの領域を、その領域が撮像範囲となる視点位置（仮想視点位置よりも被写体から遠い視点位置Ｃ：複数のこともある）のカメラから見た奥行きマップを基に補間することで、仮想視点奥行きマップを生成する。
【００２３】
そして、生成した仮想視点奥行きマップの３次元情報に従って、上記視点位置Ａで撮像された実写画像の色情報を描画することで、対応する仮想視点画像部分を生成し、
生成した仮想視点奥行きマップの３次元情報に従って、上記視点位置Ｂで撮像された実写画像の色情報を描画することで、上記視点位置Ａからでは物体の影等によって隠されている仮想視点画像の領域を生成し、
生成した仮想視点奥行きマップの３次元情報に従って、上記視点位置Ｃで撮像された実写画像の色情報を描画することで、上記視点位置Ａ，Ｂからでは撮像範囲外となる仮想視点画像の領域を生成することで、仮想視点画像を生成する。
【００２４】
このように、本発明においては、生成しようとする仮想視点画像の撮像範囲を含むように配置した異なる複数の視点位置のカメラから見た奥行きマップを同時に取得し、これらを統合して仮想視点位置から見た奥行きマップを生成して、仮想視点画像を生成していくことを特徴とする。
【００２５】
従来技術のように、多視点画像間の対応点を抽出して多視点画像間を補間する方法とは、本発明では、対応点抽出する多視点画像のカメラ位置の外側に仮想視点位置を置いても写実性の高い仮想視点画像を生成できるという点で異なる。また、本発明では、仮想視点位置をカメラの光軸方向に被写体に近づけても、仮想視点画像の中心部分付近では解像度の低下を抑えることができるという点で異なる。
【００２６】
また、従来技術のように、ビデオカメラを移動しながら視差像を撮像する方法とは、本発明では、仮想視点位置をビデオカメラの移動方向に対して垂直方向に仮想視点位置を移動させても、仮想視点画像の中心部分付近では解像度の低下を抑えることができるという点で異なる。
【００２７】
また、本発明者が先に開示した発明のように、複数の視点位置で撮像した画像と各視点位置から見た奥行きマップとを利用して仮想視点画像を生成する方法とは、本発明では、仮想視点位置をカメラの光軸方向に近づけても、仮想視点画像の中心部分付近では解像度の低下を抑えることができるという点で異なる。
【００２８】
すなわち、本発明は、仮想視点位置よりも被写体に近い視点位置で撮像した奥行きデータおよび画像を優先的に選択して仮想視点画像を生成する手法であるため、仮想視点画像の解像度の低下を最小限に抑えることができる。
【００２９】
また、本発明では、複数の奥行きマップを統合して１枚の仮想視点の奥行きマップを生成するため、奥行きマップの生成に関与しない画像間については対応点を推定する必要がない。従って、すべての多視点画像間の対応点が抽出されなくても、仮想視点画像を生成することができる。このため、多視点画像のカメラ間隔が離れている場合においても、滑らかな仮想視点画像を生成することができる。
【００３０】
また、本発明では、仮想視点位置から見える範囲が、複数の視点位置のカメラの撮像範囲に含まれていれば、仮想視点画像を生成することができるため、カメラの配置にかかる制限を軽減することができる。
【００３１】
また、本発明では、光軸に対して前後方向にもカメラを配置し、仮想視点画像の中心部分付近では仮想視点位置よりも被写体に近いカメラの画像を使って仮想視点画像を生成するため、仮想空間の中を自由に歩き回っているかのような連続した画像、すなわちウォークスルー動画像においてもフレーム間の切り替えが滑らかな動画像を生成することができる。
【００３２】
【発明の実施の形態】
図１は、本発明で用いられるカメラ配置と仮想視点位置の一例を示す図である。
【００３３】
図中、１１〜１６はカメラ位置、１７は仮想視点位置の動く範囲である。１１〜１６のカメラ位置にはそれぞれ多眼カメラが配置されていて、画像を撮像するのと同時に、それぞれの場所から見た奥行きマップを取得することができる。すべてのカメラの光軸は、互いに平行になるように配置されている。また、すべてのカメラの３次元空間中の位置は既知とする。
【００３４】
この図１のカメラ配置では、仮想視点位置１７がカメラ位置１１，１２，１５，１６に囲まれた平面上にあり、視野範囲の領域がカメラの撮像範囲に含まれているような視線方向である場合に、欠損領域の少ない仮想視点画像が得られる。図１では６カ所の位置で、撮像画像と奥行きマップを取得する場合を示したが、撮像画像と奥行きマップを取得する視点位置の数に制約はない。
【００３５】
図２は、本発明を実現するための機能構成の一実施例である。
【００３６】
図中、２１は上下左右のマトリックス状に配置された多眼カメラからなる多眼画像入力手段、２２は多眼画像入力手段２１で入力された多眼画像から奥行きデータを検出し、画像の各画素に奥行きデータを格納した奥行きマップを生成する奥行きマップ生成手段、２５は仮想視点奥行きマップおよび仮想視点画像を生成するために用いるカメラの視点位置の順序を決定する視点位置選択手段、２３は奥行きマップ生成手段２２で生成された奥行きマップを基にして、視点位置選択手段２５で決定された順序に従って仮想視点奥行きマップを生成する仮想視点奥行きマップ生成手段、２４は多眼画像入力手段２１で入力された多眼画像から、奥行きマップ生成手段２２で生成された仮想視点奥行きマップの奥行きデータに基づいて仮想視点画像を生成する仮想視点画像生成手段である。
【００３７】
ここで、奥行きマップ生成手段２２では、例えば多眼カメラ画像の対応点を抽出してステレオ法により奥行きを推定する方法で奥行きマップを生成したり、レーザ光による画像パターンを照射することなどにより能動的に被写体の奥行きを得る方法（例えばレーザレンジファインダを用いる方法）で奥行きマップを生成する。
【００３８】
次に、視点位置選択手段２５において、仮想視点画像を生成する基となるカメラを選ぶ順序について説明する。
【００３９】
視点位置選択手段２５は、まず、光軸の向きに対して仮想視点位置よりも被写体に近いカメラの中で、最も仮想視点位置に近いカメラを第１順位で用いるカメラ、その次に近いものを第２順位で用いるカメラとして選択する。前記光軸の向きに対して仮想視点位置よりも被写体に近い位置で撮像したカメラの画像は、被写体の詳細なデータを持つという特徴がある。
【００４０】
視点位置選択手段２５は、次に、その選択したカメラの視点位置からでは仮想視点画像で撮像範囲外となるような領域を撮像範囲に含むカメラの中で、最も仮想視点位置に近いカメラから順に第３順位で用いるカメラ、第４順位で用いるカメラを選択する。すなわち、光軸の向きに対して仮想視点位置よりも被写体から遠いカメラの中で、最も仮想視点位置に近いカメラを第３順位で用いるカメラ、その次に近いものを第４順位で用いるカメラとして選択する。前記光軸の向きに対して仮想視点位置よりも被写体から遠い位置で撮像したカメラの画像は、撮像範囲が広いという特徴がある。
【００４１】
このカメラの選択順序について、図３を用いて具体的に説明する。図３において、５１は被写体、５２〜５５はカメラ、５６は仮想視点位置である。カメラ５２〜５５の光軸はＺ軸に平行であり、仮想視点位置からＺ軸に平行な視線方向で撮像したような仮想視点画像を生成するものとする。
【００４２】
図３のような配置の場合、視点位置選択手段２５は、仮想視点位置よりも被写体に近い位置にあるカメラの中で被写体に最も近いカメラ５２を第１順位で用いるカメラとし、その次に近いカメラ５３を第２順位で用いるカメラとして選択する。そして、仮想視点位置よりも被写体から遠い位置にあるカメラの中で被写体に最も近いカメラ５４を第３順位で用いるカメラ、その次に近いカメラ５５を第４順位で用いるカメラとして選択する。
【００４３】
次に、奥行きマップ生成手段２２の処理について説明する。
【００４４】
上述したように、奥行きマップ生成手段２２は、多眼カメラ画像の対応点を抽出してステレオ法により奥行きを推定する方法で奥行きマップを生成したり、レーザレンジファインダなどを用いる方法で奥行きマップを生成することになるが、ここでは、前者の方法で奥行きマップを生成することで説明する。
【００４５】
この奥行きマップは、ある視点位置から撮影された画像中の各画素について、カメラから被写体までの距離の値を保持するものである。いわば、通常の画像は画像面上の各画素に輝度と色度とが対応しているものであるのに対し、奥行きマップは画像面上の各画素に奥行き値が対応しているのである。
【００４６】
多眼カメラとして、図４に示すように、原点に基準カメラ６１を置き、その周りの一定の距離Ｌに４つの参照カメラ６２〜６５を置くものを想定する。すべてのカメラの光軸は平行にする。また、すべてのカメラは同じ仕様のものを用い、仕様の違いはカメラの構成に応じて補正し、図４に示すような幾何学構成に補正する。
【００４７】
図４の配置では、３次元空間の点Ｐ＝（Ｘ，Ｙ，Ｚ）は、Ｘ−Ｙ平面から焦点距離ｆの距離にある基準画像上の点ｐ０ ＝（ｕ０，ｖ０ ）に投影される。ここで、「ｕ０ ＝ｆＸ／Ｚ，ｖ０ ＝ｆＹ／Ｚ」である。また、点Ｐは、参照カメラＣｉ （ｉ＝１〜４）の画像上の点ｐｉ ＝（ｕｉ，ｖｉ ）にも投影される。ここで、
ｕｉ ＝ｆ（Ｘ−Ｄｉ，ｘ ）／Ｚ ｖｉ ＝ｆ（Ｙ−Ｄｉ，ｙ ）／Ｚ
但し、Ｄ１ ＝（Ｄ１，ｘ ，Ｄ１，ｙ ）＝（Ｌ，０）
Ｄ２ ＝（Ｄ２，ｘ ，Ｄ２，ｙ ）＝（−Ｌ，０）
Ｄ３ ＝（Ｄ３，ｘ ，Ｄ３，ｙ ）＝（０，Ｌ）
Ｄ４ ＝（Ｄ４，ｘ ，Ｄ４，ｙ ）＝（０，−Ｌ）
である。
【００４８】
すべての参照カメラ６２〜６５と基準カメラ６１の基線長が等しい構成の下では、点Ｐの真の視差ｄｉ は、すべてのｉに対して、
ｄｉ ＝ｆＬ／Ｚ＝｜ｐｉ −ｐ０ ｜
であることから、視差ｄｉ を推定することによって奥行きＺが取得できる。なお、視差から奥行きを求めるためには最低２台のカメラがあれば可能である。
【００４９】
次に、仮想視点奥行きマップ生成手段２３の処理について説明する。
【００５０】
仮想視点奥行きマップ生成手段２３は、奥行きマップ生成手段２２で生成された奥行きマップとカメラの位置情報とから、仮想視点位置から見た奥行きマップを生成する。
【００５１】
図５に、実写画像を撮影した視点と仮想視点のカメラ座標系と投影画像面の座標系とを示す。選択された奥行きマップのカメラ座標系を（Ｘ１，Ｙ１，Ｚ１ ）Ｔ 、仮想視点位置のカメラ座標系を（Ｘ２，Ｙ２，Ｚ２ ）Ｔ とする。
【００５２】
この選択された奥行きマップ上の任意の点ｐ１ ＝（ｕ１，ｖ１ ）に投影された３次元空間の点Ｐ＝（Ｘ１，Ｙ１，Ｚ１ ）Ｔ のＺ１ が求められているとき、実視点の座標系から見た点ＰのＸ，Ｙ座標はそれぞれ
Ｘ１ ＝Ｚ１ ｕ１ ／ｆ （式１）
Ｙ１ ＝Ｚ１ ｖ１ ／ｆ （式２）
で与えられる。ここで、ｆはカメラの焦点距離である。
【００５３】
今、二つの座標系（Ｘ１，Ｙ１，Ｚ１ ）Ｔ と（Ｘ２，Ｙ２，Ｚ２ ）Ｔ とが、回転行列Ｒ２１＝〔ｒｉｊ〕∈Ｒ３＊３ と並進行列Ｔ２１＝（Δｘ，Δｙ，Δｚ）Ｔ とを用いて
（Ｘ２，Ｙ２，Ｚ２ ）Ｔ ＝Ｒ２１（Ｘ１，Ｙ１，Ｚ１ ）Ｔ ＋Ｔ２１ （式３）
の関係で表せるとする。
【００５４】
（式３）より得られた奥行き値Ｚ２ は、仮想視点座標系（Ｘ２，Ｙ２，Ｚ２ ）Ｔ で見た点Ｐの奥行き値である。点Ｐ＝（Ｘ２，Ｙ２，Ｚ２ ）Ｔ は、仮想視点奥行きマップ上の点ｐ２ ＝（ｕ２，ｖ２ ）に投影される。この（ｕ２，ｖ２ ）は、（式３）により得られたＸ２，Ｙ２ を用いて、次式により求められる。
【００５５】
ｕ２ ＝ｆＸ２ ／Ｚ２ （式４）
ｖ２ ＝ｆＹ２ ／Ｚ２ （式５）
従って、仮想視点奥行きマップ上の点ｐ２ ＝（ｕ２，ｖ２ ）の奥行き値をＺ２ と決定できる。
【００５６】
以上の処理を、奥行きマップ中のすべての点（ｕ１，ｖ１ ）について繰り返し行い、選択された奥行きマップの保持する奥行きの値を、仮想視点から見た奥行きマップ中の画素の奥行き値に変換する。
【００５７】
このとき、同時に（ｕ１，ｖ１ ）の画素の輝度値と色度値とを、仮想視点画像上の画素（ｕ２，ｖ２ ）に描画すると、仮想視点画像を生成することができる。
【００５８】
しかし、ここで生成される仮想視点奥行きマップには、奥行き値の欠損した画素や奥行き値にノイズが含まれる場合がある。このような場合は、奥行き値の欠損した画素を、周囲の画素の奥行き値を用いて線形に補間したり、奥行きマップを平滑化処理することにより、奥行き値の欠損部分やノイズの少ない仮想視点奥行きマップを生成することができる。
【００５９】
次に、この補間処理及び平滑化処理について、図６を用いて説明する。ここで、図６（Ｂ）〜（Ｅ）は、図６（Ａ）に示す球を撮像した画像を走査線Ａ−Ｂで切断し、その走査線上の奥行きの値を縦軸に表したものである。
【００６０】
この補間処理では、仮想視点奥行きマップ生成手段２３で生成された（Ｂ）に示す仮想視点奥行きマップ中の、オクルージョンにより視差が推定できなかったために奥行き値を持たない画素７１の奥行き値を、局所的な領域内では奥行きは急激に変化しないという仮定の下、奥行き値が既知である周囲の画素７２の奥行き値等を用いて線形補間することで求める。その結果として、すべての画素の奥行き値を持つ（Ｃ）に示す仮想視点奥行きマップが生成される。
【００６１】
一方、この平滑化処理では、補間処理により求められた（Ｃ）に示す仮想視点奥行きマップの奥行き値の平滑化処理を行う。まず、仮想視点奥行きマップの走査線上で奥行き値が急激に変換している画素７３の奥行き値を除去し、局所的な領域内では奥行きは急激に変化しないという仮定の下、周囲の画素７４の奥行き値を用いて線形補間処理を行い、（Ｄ）に示す仮想視点奥行きマップを生成する。更に、被写体の表面を滑らかな局面で近似するために、仮想視点奥行きマップ全体に対して平滑化処理を行い、（Ｅ）に示す仮想視点奥行きマップを得る。
【００６２】
次に、仮想視点画像生成手段２４の処理について、図７を用いて説明する。
【００６３】
仮想視点画像生成手段２４は、仮想視点奥行きマップ生成手段２３で用いた座標変換の逆変換を行うことで、仮想視点奥行きマップ中の点ｐ２ ＝（ｕ２，ｖ２ ）に対応する実写画像上の点ｐ３ ＝（ｕ３，ｖ３ ）を求めて、この点（ｕ３，ｖ３ ）の画素の輝度値と色度値を、仮想視点画像中の点（ｕ２，ｖ２ ）に描画することで仮想視点画像を生成する。
【００６４】
仮想視点画像生成手段２４で用いる座標変換は、仮想視点奥行きマップ生成手段２３で用いたものの逆変換にあたる。仮想視点奥行きマップ生成手段２３の生成した仮想視点奥行きマップに線形補間処理や平滑化処理を加えたことにより、仮想視点奥行きマップの保持する奥行き値が変化しているため、もう一度新しい奥行き値を用いて座標変換を行う必要があることから、この逆変換を行うのである。
【００６５】
ここで、仮想視点奥行きマップの座標系を（Ｘ２，Ｙ２，Ｚ２ ）Ｔ 、多眼画像（図４に示したような多眼カメラにより撮像される画像）の中の任意の１枚の座標系を（Ｘ３，Ｙ３，Ｚ３ ）Ｔ とする。
【００６６】
仮想視点奥行きマップ中の任意の点ｐ２ ＝（ｕ２，ｖ２ ）の画素の奥行き値がＺ２ であるとき、この画素ｐ２ ＝（ｕ２，ｖ２ ）に投影される被写体の３次元空間中の点Ｐ＝（Ｘ２，Ｙ２，Ｚ２ ）Ｔ の座標は、
Ｘ２ ＝Ｚ２ ｕ２ ／ｆ （式６）
Ｙ２ ＝Ｚ２ ｖ２ ／ｆ （式７）
で与えられる。ここで、ｆはカメラの焦点距離である。
【００６７】
今、二つの座標系（Ｘ２，Ｙ２，Ｚ２ ）Ｔ と（Ｘ３，Ｙ３，Ｚ３ ）Ｔ とが、回転行列Ｒ３２＝〔ｒｉｊ〕∈Ｒ３＊３ と並進行列Ｔ３２＝（Δｘ，Δｙ，Δｚ）Ｔ を用いて
（Ｘ３，Ｙ３，Ｚ３ ）Ｔ ＝Ｒ３２（Ｘ２，Ｙ２，Ｚ２ ）Ｔ ＋Ｔ３２ （式８）
の関係で表せるとする。
【００６８】
Ｚ２ と（式６）により求まるＸ２ と（式７）により求まるＹ２ とを（式８）に代入すると、（Ｘ３，Ｙ３，Ｚ３ ）Ｔ 系で見た、仮想視点画像中の点（ｕ２，ｖ２ ）に投影される被写体の３次元空間中の点Ｐ＝（Ｘ３，Ｙ３，Ｚ３ ）Ｔ が計算される。この点Ｐは実写画像上の点ｐ３ ＝（ｕ３，ｖ３ ）に投影される。
【００６９】
この（ｕ３，ｖ３ ）は、（式８）式により得られたＸ３，Ｙ３ を用いて、次式により計算することができる。
【００７０】
ｕ３ ＝ｆＸ３ ／Ｚ３ （式９）
ｖ３ ＝ｆＹ３ ／Ｚ３ （式１０）
この（式９）（式１０）により計算された撮像画像中の点（ｕ３，ｖ３ ）の画素の輝度値と色度値を、仮想視点画像中の点（ｕ２，ｖ２ ）に描画する。この処理を撮像画像中のすべての点について繰り返し行うことで、仮想視点画像が生成されることになる。
【００７１】
上述したように、視点位置選択手段２５は、図３のようにカメラが配置される場合には、仮想視点位置よりも被写体に近い位置にあるカメラの中で仮想視点位置に最も近いカメラ５２を第１順位で用いるカメラとし、その次に仮想視点位置に近いカメラ５３を第２順位で用いるカメラとして選択する。そして、仮想視点位置よりも被写体から遠い位置にあるカメラの中で仮想視点位置に最も近いカメラ５４を第３順位で用いるカメラとし、その次に仮想視点位置に近いカメラ５５を第４順位で用いるカメラとして選択する。
【００７２】
このようにして選択される４つのカメラからの奥行きマップと画像とを用いて仮想視点画像を生成する効果を、図８を用いて説明する。
【００７３】
第１順位から第４順位のカメラからの奥行きマップと画像とから生成された仮想視点画像は、図８に示したようなａ，ｂ，ｃ，ｄの４つの領域におおまかに分けることができる。ａ，ｂ，ｃ，ｄの４つの領域は、それぞれ５２，５３，５４，５５のカメラの奥行きマップと画像とを基に生成されたものである。
【００７４】
カメラ５４とカメラ５５とで撮像される範囲を合わせると、仮想視点位置で撮像される範囲を十分に含んでいるため、カメラ５４とカメラ５５の奥行きマップと画像とから仮想視点画像を生成することができるが、生成される仮想視点画像の解像度は、もとの画像の解像度よりも粗くなる。そこで、仮想視点画像の中心部分についてはカメラ５２とカメラ５３の奥行きマップと画像とを用いることで、仮想視点画像の解像度の低下を抑えることができる。
【００７５】
次に、図９〜図１１に従って、本実施例の手順について詳細に説明する。
【００７６】
図９（ａ）は第１順位のカメラ５２の撮像した画像、図９（ｂ）は第２順位のカメラ５３の撮像した画像、図９（ｃ）はカメラ５２の撮像した画像（多眼画像）から生成された奥行きマップ、図９（ｄ）はカメラ５３の撮像した画像（多眼画像）から生成された奥行きマップである。
【００７７】
図１０（ａ）は第３順位のカメラ５４の撮像した画像、図１０（ｂ）は第４順位のカメラ５５の撮像した画像、図１０（ｃ）はカメラ５４の撮像した画像（多眼画像）から生成された奥行きマップ、図１０（ｄ）はカメラ５５の撮像した画像（多眼画像）から生成された奥行きマップである。
【００７８】
ここで、これら奥行きマップでは、奥行き値が濃淡値で表されており、視点位置と被写体との間の距離が近づくほど、薄い色で示されている。
【００７９】
図１１（ａ）は、図９（ｃ）（ｄ）に示す奥行きマップをもとに生成された、図３に示す仮想視点位置５６での仮想視点奥行きマップである。図１１（ａ）の上下に現れている空白の領域は、カメラ５２およびカメラ５３での撮像範囲外の領域であるために、仮想視点奥行きマップ上では奥行き値が欠損している領域である。
【００８０】
図１１（ｂ）は、図１１（ａ）の仮想視点奥行きマップに図９（ａ）（ｂ）の画像をマッピングして生成された仮想視点画像である。図１１（ｂ）の上下に現れている空白の領域は、図１１（ａ）の仮想視点奥行きマップで奥行き値が欠損しているために、画像をマッピングすることができない領域である。
【００８１】
このように、図１１（ｂ）は、仮想視点位置より被写体に近い視点位置で撮像された実写画像およびその視点位置から見た奥行きマップをもとに生成されているため、解像度の低下はないが、生成できる画像サイズがもとの画像サイズよりも小さい。
【００８２】
図１１（ｃ）は、図１１（ａ）の奥行きマップの欠損部分を、図１０（ｃ）（ｄ）に示す奥行きマップの持つ奥行き情報をもとに補間した仮想視点奥行きマップである。
【００８３】
図１１（ｄ）は、図１１（ｂ）の仮想視点画像の欠損部分に、図１１（ｃ）の奥行き情報をもとに図１０（ａ）（ｂ）の画像をマッピングして生成された仮想視点画像である。図１１（ｄ）で新たに生成された領域は、もとの画像より解像度が低下しているものの、画像の中心部分ではもとの画像の解像度が保たれている。
【００８４】
このようにして、本発明では、仮想視点位置よりも被写体に近い視点位置で撮像した奥行きデータおよび画像を優先的に選択して仮想視点画像を生成する手法であるため、仮想視点画像の解像度の低下を最小限に抑えることができるのである。
【００８５】
本発明で用いられるカメラ配置と仮想視点位置は、図１に示したものに限られるものではない。
【００８６】
例えば、図１２に示すようなカメラ配置と仮想視点位置に対しても、そのまま適用できる。
【００８７】
図中、３１〜３６はカメラ位置、３７は仮想視点位置の動く範囲である。３１〜３６のカメラ位置にはそれぞれ多眼カメラが配置されていて、画像を撮像するのと同時に、それぞれの場所から見た奥行きマップを取得することができる。すべてのカメラの光軸は、被写体に対向してｙ軸からθｉ （ｉ＝３１〜３６、添字ｉはカメラ位置を示す）回転した方向とする。
【００８８】
この図１２のカメラ配置では、仮想視点位置３７がカメラ位置３１，３２，３５，３６に囲まれた平面上にあり、視野範囲の領域がカメラの撮像範囲に含まれているような視線方向である場合に、欠損領域の少ない仮想視点画像が得られる。
【００８９】
図１２に示した配置は、カメラの配置できる場所に制限がある場合に、仮想空間の中を自由に歩き回っているかのような連続した画像、すなわちウォークスルー画像を提供する場合に有効である。すべてのカメラの３次元空間中の位置は既知とする。図１２では６カ所の位置で撮像した画像と奥行きマップを取得する場合を示したが、画像と奥行きマップを取得する視点位置の数に制約はない。
【００９０】
また、図１３に示すようなカメラ配置と仮想視点位置に対しても、そのまま適用できる。
【００９１】
図中、４１〜４６はカメラ位置、４７は仮想視点位置の動く範囲である。４１〜４６のカメラ位置にはそれぞれ多眼カメラが３６０度見回せるように配置されていて、画像を撮像するのと同時に、それぞれの場所から見た全周方向の奥行きマップを取得することができる。すべてのカメラの光軸は、被写体に対向してｘ軸からΦｉ （ｉ＝４１〜４６、添字ｉはカメラ位置を示す）ｙ軸からθｉ （ｉ＝４１〜４６、添字ｉはカメラ位置を示す）回転した方向とする。
【００９２】
この図１３のカメラ配置では、仮想視点位置４７がカメラ位置４１，４２，４５，４６に囲まれた平面よりも下部の領域（点線で囲まれた領域）にあり、視野範囲の領域がカメラの撮像範囲に含まれているような視線方向である場合に、欠損領域の少ない仮想視点画像が得られる。
【００９３】
このような配置は、部屋の天井にカメラを配置した場合に、３６０度任意の視線方向も可能なウォークスルー画像を提供する場合に有効である。すべてのカメラの３次元空間中の位置は既知とする。図１３では６カ所の位置で撮像した画像と奥行きマップを取得する場合を示したが、画像と奥行きマップを取得する視点位置の数に制約はない。
【００９４】
図示実施例に従って本発明を説明したが、本発明はこれに限定されるものではない。例えば、実施例では、被写体に対向して前後左右に配置される６台のカメラを想定したが、カメラの台数や配置形態はこれに限られるものではない。
【００９５】
また、実施例では、先ず最初に、仮想視点位置よりも被写体に近いカメラの中で、最も仮想視点位置に近いカメラを選択することで仮想視点奥行きマップの基本部分を生成し、それに続いて、仮想視点位置よりも被写体から遠いカメラの中で、被写体に近いカメラを優先的に選択していくことで、その仮想視点奥行きマップの欠落個所を生成して仮想視点奥行きマップを完成させていくという方法を用いたが、高速処理が要求される場合には、画質よりも処理速度を優先させて、そのような順番に従わずにカメラを選択していくことで、仮想視点奥行きマップを高速に完成させていくという方法を用いてもよい。
【００９６】
【発明の効果】
以上説明したように、本発明では、仮想視点位置よりも被写体に近い視点位置で撮像した奥行きデータおよび画像を優先的に選択して仮想視点画像を生成する手法であるため、仮想視点画像の解像度の低下を最小限に抑えることができるようになる。
【００９７】
また、本発明では、複数の奥行きマップを統合して１枚の仮想視点の奥行きマップを生成するため、奥行きマップの生成に関与しない画像間については対応点を推定する必要がない。従って、すべての多視点画像間の対応点が抽出されなくても、仮想視点画像を生成することができる。このため、多視点画像のカメラ間隔が離れている場合においても、滑らかな仮想視点画像を生成することができるようになる。
【００９８】
また、本発明では、仮想視点位置から見える範囲が、複数の視点位置のカメラの撮像範囲に含まれていれば、仮想視点画像を生成することができるため、カメラの配置にかかる制限を軽減することができるようになる。
【００９９】
また、本発明では、光軸に対して前後方向にもカメラを配置し、仮想視点画像の中心部分付近では仮想視点位置よりも被写体に近いカメラの画像を使って仮想視点画像を生成するため、ウォークスルー動画像においてもフレーム間の切り替えが滑らかな動画像を生成することができるようになる。
【図面の簡単な説明】
【図１】本発明で用いられるカメラ配置／仮想視点位置の一例である。
【図２】本発明を実現するための機能構成の一実施例である。
【図３】カメラの選択手順の説明図である。
【図４】多眼カメラシステムの一例である。
【図５】仮想視点奥行きマップ生成手段で用いる座標変換の説明図である。
【図６】補間処理／平滑化処理の説明図である。
【図７】仮想視点画像生成手段で用いる座標変換の説明図である。
【図８】本発明により生成される仮想視点画像の説明図である。
【図９】実施例の動作説明図である。
【図１０】実施例の動作説明図である。
【図１１】実施例の動作説明図である。
【図１２】本発明で用いられるカメラ配置／仮想視点位置の他の例である。
【図１３】本発明で用いられるカメラ配置／仮想視点位置の他の例である。
【図１４】従来技術の説明図である。
【図１５】従来技術の説明図である。
【図１６】従来技術の説明図である。
【符号の説明】
２１ 多眼画像入力手段
２２ 奥行きマップ生成手段
２３ 仮想視点奥行きマップ生成手段
２４ 仮想視点画像生成手段
２５ 視点位置選択手段
Claims (4)
- 被写体に対向して配置された複数のカメラによって撮像される画像を基に、実際にはカメラの置かれていない仮想視点位置で撮像したような画像を生成する画像生成方法において、
被写体に対向して左右方向、かつ光軸に対して前後方向に配置された複数のカメラにより撮像される実写画像の各画素について被写体までの奥行き値を保持する奥行きマップを生成する第１の処理過程と、
（ｉ）光軸の向きに対して仮想視点位置よりも被写体に近いカメラの中で、最も仮想視点位置に近いカメラを選択し、そのカメラにより撮像される実写画像に対応付けられる奥行きマップを基に、仮想視点位置から見た奥行きマップを生成し、（ ii ）光軸の向きに対して仮想視点位置よりも被写体に近いカメラの中で、その次に仮想視点位置に近いカメラから順に選択し、それらのカメラにより撮像される実写画像に対応付けられる奥行きマップを基に、前記奥行きマップの欠落部分を生成し、 (iii ）光軸の向きに対して仮想視点位置よりも被写体から遠いカメラの中で、最も仮想視点位置に近いカメラから順に選択し、それらのカメラにより撮像される実写画像に対応付けられる奥行きマップを基に、前記奥行きマップの残されている欠落部分を生成することで、仮想視点位置から見た奥行きマップを生成する第２の処理過程と、
生成した仮想視点奥行きマップを基に、その仮想視点奥行きマップの生成元となった奥行きマップに対応付けられる実写画像の画素の色情報を描画することで、仮想視点位置から見た画像を生成する第３の処理過程とを備える
ことを特徴とする画像生成方法。 - 請求項１記載の画像生成方法において、
第１の処理過程で、多眼カメラにより撮像される実写画像の対応点を抽出し、ステレオ法により三角測量の原理を用いて奥行き値を推定することで奥行きマップを生成する
ことを特徴とする画像生成方法。 - 請求項１記載の画像生成方法において、
第１の処理過程で、レーザ光による画像パターンを被写体に照射することにより奥行き値を推定することで奥行きマップを生成する
ことを特徴とする画像生成方法。 - 被写体に対向して配置された複数のカメラによって撮像される画像を基に、実際にはカメラの置かれていない仮想視点位置で撮像したような画像を生成する画像生成装置において、
被写体に対向して左右方向、かつ光軸に対して前後方向に配置された複数のカメラにより撮像される実写画像の各画素について被写体までの奥行き値を保持する奥行きマップを生成する手段と、
（ｉ）光軸の向きに対して仮想視点位置よりも被写体に近いカメラの中で、最も仮想視点位置に近いカメラを選択し、そのカメラにより撮像される実写画像に対応付けられる奥行きマップを基に、仮想視点位置から見た奥行きマップを生成し、（ ii ）光軸の向きに対して仮想視点位置よりも被写体に近いカメラの中で、その次に仮想視点位置に近いカメラから順に選択し、それらのカメラにより撮像される実写画像に対応付けられる奥行きマップを基に、前記奥行きマップの欠落部分を生成し、 (iii ）光軸の向きに対して仮想視点位置よりも被写体から遠いカメラの中で、最も仮想視点位置に近いカメラから順に選択し、それらのカメラにより撮像される実写画像に対応付けられる奥行きマップを基に、前記奥行きマップの残されている欠落部分を生成することで、仮想視点位置から見た奥行きマップを生成する手段と、
生成した仮想視点奥行きマップを基に、その仮想視点奥行きマップの生成元となった奥行きマップに対応付けられる実写画像の画素の色情報を描画することで、仮想視点位置から見た画像を生成する手段とを備える
ことを特徴とする画像生成装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP23776699A JP3561446B2 (ja) | 1999-08-25 | 1999-08-25 | 画像生成方法及びその装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP23776699A JP3561446B2 (ja) | 1999-08-25 | 1999-08-25 | 画像生成方法及びその装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001067473A JP2001067473A (ja) | 2001-03-16 |
| JP3561446B2 true JP3561446B2 (ja) | 2004-09-02 |
Family
ID=17020137
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP23776699A Expired - Fee Related JP3561446B2 (ja) | 1999-08-25 | 1999-08-25 | 画像生成方法及びその装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3561446B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8928755B2 (en) | 2009-10-30 | 2015-01-06 | Canon Kabushiki Kaisha | Information processing apparatus and method |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100433625B1 (ko) * | 2001-11-17 | 2004-06-02 | 학교법인 포항공과대학교 | 스테레오 카메라의 두영상과 양안차도를 이용한 다시점영상 합성 장치 |
| KR100779634B1 (ko) | 2003-06-20 | 2007-11-26 | 니폰 덴신 덴와 가부시끼가이샤 | 가상시점 화상 생성방법 및 3차원 화상 표시방법 및 장치 |
| JP4595313B2 (ja) * | 2003-11-14 | 2010-12-08 | ソニー株式会社 | 撮像表示装置及び方法、画像送受信システム |
| JP4706068B2 (ja) * | 2007-04-13 | 2011-06-22 | 国立大学法人名古屋大学 | 画像情報処理方法及び画像情報処理システム |
| US8363985B2 (en) | 2007-10-15 | 2013-01-29 | Nippon Telegraph And Telephone Corporation | Image generation method and apparatus, program therefor, and storage medium which stores the program |
| JP4578566B2 (ja) | 2007-10-15 | 2010-11-10 | 日本電信電話株式会社 | 画像生成方法、装置、およびそのプログラム並びにプログラムを記録した記録媒体 |
| JP4838275B2 (ja) * | 2008-03-03 | 2011-12-14 | 日本電信電話株式会社 | 距離情報符号化方法，復号方法，符号化装置，復号装置，符号化プログラム，復号プログラムおよびコンピュータ読み取り可能な記録媒体 |
| JP5249114B2 (ja) | 2009-04-03 | 2013-07-31 | Ｋｄｄｉ株式会社 | 画像生成装置、方法及びプログラム |
| JP5222205B2 (ja) * | 2009-04-03 | 2013-06-26 | Ｋｄｄｉ株式会社 | 画像処理装置、方法及びプログラム |
| WO2012063540A1 (ja) * | 2010-11-12 | 2012-05-18 | シャープ株式会社 | 仮想視点画像生成装置 |
| JP5488929B2 (ja) * | 2011-02-23 | 2014-05-14 | 国立大学法人名古屋大学 | 画像情報処理方法及び画像情報処理システム |
| JP5725953B2 (ja) * | 2011-04-13 | 2015-05-27 | キヤノン株式会社 | 撮像装置及びその制御方法、並びに情報処理装置 |
| EP3383035A1 (en) * | 2017-03-29 | 2018-10-03 | Koninklijke Philips N.V. | Image generation from video |
| WO2021215236A1 (ja) * | 2020-04-21 | 2021-10-28 | ソニーグループ株式会社 | 情報処理装置、情報処理方法および記録媒体 |
| WO2021220891A1 (ja) * | 2020-04-27 | 2021-11-04 | 富士フイルム株式会社 | 画像処理装置、画像処理方法、及びプログラム |
-
1999
- 1999-08-25 JP JP23776699A patent/JP3561446B2/ja not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8928755B2 (en) | 2009-10-30 | 2015-01-06 | Canon Kabushiki Kaisha | Information processing apparatus and method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001067473A (ja) | 2001-03-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3593466B2 (ja) | 仮想視点画像生成方法およびその装置 | |
| JP3561446B2 (ja) | 画像生成方法及びその装置 | |
| US20020106120A1 (en) | Method of analyzing in real time the correspondence of image characteristics in corresponding video images | |
| Atzpadin et al. | Stereo analysis by hybrid recursive matching for real-time immersive video conferencing | |
| US20160005228A1 (en) | Method of converting 2d video to 3d video using 3d object models | |
| US6233004B1 (en) | Image processing method and apparatus | |
| JP5011168B2 (ja) | 仮想視点画像生成方法、仮想視点画像生成装置、仮想視点画像生成プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| JP3524147B2 (ja) | ３次元画像表示装置 | |
| JPH08331607A (ja) | 三次元表示画像生成方法 | |
| JP2005235211A (ja) | 中間時点の画像合成方法及びそれを適用した３ｄディスプレイ装置 | |
| Zhang et al. | Stereoscopic video synthesis from a monocular video | |
| US8577202B2 (en) | Method for processing a video data set | |
| KR20120072146A (ko) | 파노라마 영상을 이용한 입체 영상 생성 장치 및 방법 | |
| EP3446283A1 (en) | Image stitching method and device | |
| TWI820246B (zh) | 具有像差估計之設備、估計來自廣角影像的像差之方法及電腦程式產品 | |
| JPH09245195A (ja) | 画像処理方法およびその装置 | |
| Knorr et al. | Stereoscopic 3D from 2D video with super-resolution capability | |
| Knorr et al. | An image-based rendering (ibr) approach for realistic stereo view synthesis of tv broadcast based on structure from motion | |
| JP3197801B2 (ja) | 二次元表示画像生成方法 | |
| CN117196955A (zh) | 一种全景图像拼接方法及终端 | |
| WO2020178289A1 (en) | Processing of depth maps for images | |
| Knorr et al. | From 2D-to stereo-to multi-view video | |
| JPH07296195A (ja) | 画像処理装置及び方法 | |
| JP3122629B2 (ja) | 任意視点画像生成装置 | |
| CN109379577B (zh) | 一种虚拟视点的视频生成方法、装置及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20031211 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20031224 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040223 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040525 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040528 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: R3D02 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090604 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090604 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100604 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |