JPH08116556A

JPH08116556A - 画像処理方法および装置

Info

Publication number: JPH08116556A
Application number: JP6249789A
Authority: JP
Inventors: Akihiro Katayama; 昭宏片山; Kouichirou Tanaka; 宏一良田中; Eita Ono; 英太小野; Shinya Urisaka; 真也瓜阪; Hiroaki Sato; 宏明佐藤
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1994-10-14
Filing date: 1994-10-14
Publication date: 1996-05-07

Abstract

(57)【要約】【目的】観察者の視点位置および視線方向を空間中で
スムーズに移動できるようにすることを目的とする。【構成】多視点画像入力ステップＳ１と、視点検出ス
テップＳ２と、画像再構成ステップＳ３と、画像出力ス
テップＳ４とを順次行い、複数の異なる直線上に配置さ
れた複数の視点位置から得られる画像を入力するととも
に、上記画像を見ている観察者の目の位置、および上記
観察者が見ている方向を検出し、上記検出結果に基づい
て、上記検出された視点位置から見える画像を多視点画
像データから再構成するようにすることにより、空間内
の自由な視点移動に対応した画像を再構成できるように
して、空間内の任意な視点移動を可能にする。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は画像処理方法および装置
に係わり、例えば、複数の撮像手段（カメラ等）から得
られた画像を補間処理することにより、撮像手段の視点
とは異なった視点の画像を生成するようにする画像処理
装置およびその方法に関するものである。

【０００２】

【従来の技術】従来、複数の視点から見た画像を立体表
示する装置として、ステレオディスプレイやレンチキュ
ラーディスプレイ等がある。上記ステレオディスプレイ
は、２台のカメラから得られる画像を交互に高速に切り
替えて表示しするようにしており、観察者はそれに同期
するシャッターメガネや偏光メガネを用いることによ
り、映像を立体的に観察することができるようにした装
置である。

【０００３】また、レンチキュラーディスプレイは、例
えば４台のカメラからの画像をそれぞれＡ，Ｂ，Ｃ，Ｄ
とし、第１の画像Ａの画素位置（１，１）を、Ａ（１，
１）と表記すると、図１５に示すように、Ａ，Ｂ，Ｃ，
Ｄを画素単位に並べる。そして、かまぼこ形の円柱状レ
ンズを多数配列したレンチキュラーシートと呼ばれてい
るシートを前面に張り付けることにより、４視点の映像
を立体的に表現することができるようにした装置であ
る。

【０００４】

【発明が解決しようとする課題】しかしながら、上記従
来例ではカメラで狙った方向の立体像しか観察すること
ができなかった。すなわち、上記ステレオディスプレイ
では、２台のカメラを固定して物体を撮影した場合、観
察者が視点を移動しても見える画像は同じであった。

【０００５】それに対し、レンチキュラーディスプレイ
では、観察者の視点の左右方向の移動はできる。しか
し、それは複数のカメラのどれかから見た画像を飛び飛
びに見るというものであった。すなわち、観察者の視点
を左右方向に連続的に移動させたり、あるいは空間中を
連続して視点移動したりすること（空間中の任意の位置
に視点を移し、任意の方向に視点を向けること）はでき
なかった。

【０００６】本発明は上述の問題点にかんがみ、観察者
の視点位置および視線方向を空間中でスムーズに移動で
きるようにすることを目的とする。

【０００７】

【課題を解決するための手段】本発明の画像処理方法
は、複数の異なる直線上に配置された複数の視点位置か
ら得られた画像を入力する多視点画像入力ステップと、
上記画像を見ている観察者の目の位置および見ている方
向を検出する視点検出ステップと、上記視点検出ステッ
プにより検出された視点位置から見える画像を多視点画
像データから再構成する画像再構成ステップと、上記再
構成された画像を画像出力装置を介して出力する画像出
力ステップとを備えている。

【０００８】本発明の他の特徴によれば、上記複数の異
なる直線同志が交差する角度は、撮影するカメラの画角
と等しいか、またはそれよりも小さい。

【０００９】本発明のその他の特徴によれば、直線上に
並んだ複数のカメラを一組用い、両端のカメラのレンズ
中心を結ぶ線分の中点を中心に回転させて撮影すること
により、複数組のカメラセットを使用して撮影した画像
と等価な画像を取得するようにしている。

【００１０】本発明のその他の特徴によれば、上記多視
点画像入力ステップは、予め直線上に並べられた複数の
カメラを複数組用いて異なる視点位置から撮影された画
像が格納されたデータベースから入力するようにしてい
る。

【００１１】本発明のその他の特徴によれば、上記多視
点画像入力ステップは、１台以上のカメラで撮影した画
像を補間処理することにより、上記撮影画像を撮影した
位置から見た画像とは異なる補間画像を生成し、上記撮
影画像と上記補間処理により生成した補間画像とを入力
するようにしている。

【００１２】本発明のその他の特徴によれば、上記画像
再構成ステップは、上記観察者の視点位置および画像出
力装置の種類から画像の再構成に必要なパラメータを計
算し、そのパラメータを用いて再構成画像の各画素が、
上記多視点画像入力ステップで入力された多視点画像の
どの画素に対応するかを計算し、上記計算結果に基づい
て対応する画素を上記多視点画像データから抽出して画
像の再構成を行うようにしている。

【００１３】また、本発明の画像処理装置は、複数の異
なる直線上に配置された複数の視点位置から得られる画
像を入力する多視点画像入力手段と、上記画像を見てい
る観察者の目の位置と見ている方向を検出する視点検出
手段と、上記視点検出手段によって検出された視点位置
から見える画像を、上記多視点画像データから再構成す
る画像再構成手段と、上記画像再構成手段によって再構
成された画像を出力する画像出力手段とを備えている。

【００１４】本発明の画像処理装置他の特徴によれば、
上記複数の異なる直線同志が交差する角度は、撮影する
カメラの画角と等しいか、またはそれよりも小さい。

【００１５】本発明の画像処理装置の他の特徴によれ
ば、直線上に並んだ複数のカメラを一組用い、両端のカ
メラのレンズ中心を結ぶ線分の中点を中心に回転させて
撮影することにより、複数組のカメラセットを使用して
撮影した画像と等価な画像を取得するようにしている。

【００１６】本発明の画像処理装置のその他の特徴によ
れば、上記多視点画像入力手段は、予め直線上に並べら
れた複数のカメラを複数組用いて異なる視点位置から撮
影された画像が格納されたデータベースから入力するよ
うにしている。

【００１７】本発明の画像処理装置のその他の特徴によ
れば、上記多視点画像入力手段は、１台以上のカメラで
撮影した画像を補間処理することにより、上記撮影画像
を撮影した位置から見た画像とは異なる補間画像を生成
し、上記撮影画像と上記補間処理により生成した補間画
像とを入力するようにしている。

【００１８】本発明の画像処理装置のその他の特徴によ
れば、上記画像再構成手段は、上記観察者の視点位置お
よび画像出力装置の種類から画像の再構成に必要なパラ
メータを計算し、そのパラメータを用いて再構成画像の
各画素が、上記多視点画像入力ステップで入力された多
視点画像のどの画素に対応するかを計算し、上記計算結
果に基づいて対応する画素を上記多視点画像データから
抽出して画像の再構成を行うようにしている。

【００１９】

【作用】本発明は上記技術手段よりなるので、複数の異
なる直線上に配置された複数の視点位置から得られた画
像が入力されたときに、上記画像を見ている観察者の目
の位置および上記観察者が見ている方向が検出され、上
記検出された結果に基づいて、検出された視点位置から
見える画像が多視点画像データから再構成されることに
なり、これにより、空間内の自由な視点移動に対応した
画像を再構成することができるようになるので、空間内
の任意な視点移動が可能になる。

【００２０】また、本発明の他の特徴によれば、視点間
補間画像を多数生成するようにしているので、上記した
ように空間内の任意な視点移動を可能にするに際し、十
分に細かい視点間隔の多視点画像を多視点画像データベ
ースに保持しておく必要がなく、上記視点画像データベ
ースの記憶容量は小さくて済む。

【００２１】

【実施例】以下、本発明の画像処理方法および装置の実
施例を図面を参照しながら説明する。図１は本発明の画
像処理方法を説明するためのフローチャート、図２は本
発明の画像処理装置の概略構成を示す機能ブロック図で
ある。

【００２２】図１に示したように、本実施例の画像処理
方法は、まず、ステップＳ１において複数の異なる直線
上に配置された複数の視点位置から得られた画像を入力
する多視点画像入力処理を行う。

【００２３】次に、ステップＳ２に進み、上記画像を見
ている観察者の目の位置および見ている方向を検出する
視点検出処理を行う。その後、ステップＳ３に進んで、
上記ステップＳ２の視点検出処理により検出された視点
位置から見える画像を、後述する多視点画像データから
再構成する画像再構成処理を行う。

【００２４】次に、ステップＳ４において、上記ステッ
プＳ３において再構成された画像を画像出力装置を介し
て出力するとともに、ステップＳ６において上記再構成
された画像を表示スクリーンに表示する。

【００２５】その後、ステップＳ６において処理を続行
するか否かを判断し、上記判断の結果、処理を続行する
場合にはステップＳ２に戻り、上述した処理を繰り返し
行う。まず、ステップＳ６の判断の結果、処理を終了す
る場合にはエンドとなる。

【００２６】上述した画像処理は、図２に示した画像処
理装置によって行なわれる。図２において、は多視点
画像入力手段であり、複数の異なる直線上に配置された
複数の視点位置から得られる画像を入力するために設け
られているものである。

【００２７】また、は観察者の目の位置と見ている方
向を検出するための視点検出手段であり、は上記視点
検出手段によって検出された視点位置から見える画像
を、多視点画像入力手段より得られた多視点画像デー
タから再構成するための画像再構成手段である。

【００２８】は、上記画像再構成手段によって再構
成された画像を出力する画像出力手段であり、上記画像
出力手段から出力された画像が画像表示手段に表示
されるようになされている。

【００２９】本実施例においては、上記複数の異なる直
線同志が交差する角度は、撮影するカメラの画角と等し
いか、またはそれよりも小さくなっている。また、画像
を取得するに際しては直線上に並んだ複数のカメラを一
組用い、両端のカメラのレンズ中心を結ぶ線分の中点を
中心に回転させて撮影することにより、複数組のカメラ
セットを使用して撮影した画像と等価な画像を取得する
ようにしている。

【００３０】また、上記多視点画像入力手段は、予め
直線上に並べられた複数のカメラを複数組用いて異なる
視点位置から撮影された画像が格納された多視点画像デ
ータベースから入力するようにしている。

【００３１】なお、上記多視点画像入力手段は、１台
以上のカメラから得られた画像より、補間処理を用いて
撮影した位置から見た画像とは異なる画像を生成し、撮
影した画像と補間処理により生成した画像を入力するよ
うにしてもよい。

【００３２】また、上記画像再構成手段は、観察者の
視点位置および画像出力装置の種類から画像の再構成に
必要なパラメータを計算し、そのパラメータを用いて再
構成画像の各画素が入力された多視点画像のどの画素に
対応するかを計算し、対応する画素を多視点画像から抽
出して画像を再構成するようにしている。

【００３３】次に、本発明の画像処理方法および装置を
より具体的に説明する。図３は、本発明の画像処理方法
を適用した画像表示装置の第１の実施例を示す構成図、
図４は本実施例における画像再構成原理を示す図であ
る。

【００３４】図４に示したように、本実施例において
は、線分ｌ₀，ｌ₁，ｌ₂上を非常に細かい間隔でカメ
ラを移動させながら撮影した画像を仮定する。ただし、
カメラのレンズ中心はこれらの線分上に存在し、光軸は
線分に対して直交している。また、画像の撮影は、線分
上の一点に対し、２枚の画像（その一点を始点として反
対方向を撮影した画像）が撮影されているとする。

【００３５】各線分ｌ₀，ｌ₁，ｌ₂の長さは等しく、
線分の中点において、線分ｌ₀，ｌ ₁および線分ｌ₁，
ｌ₂はそれぞれ角度θ（ここでは、簡単のためθ＝６０
°とする）で、交差（この点を原点とする）している。

【００３６】また、図中の三角形はレンズ中心を一つの
頂点とし、カメラ撮像面を一辺としたものを表してい
る。ここでは、Ｒ_pがカメラのレンズ中心であり、これ
と対向する一辺がカメラの撮像面を表す。また、Ｖ_pは
仮想カメラのレンズ中心であり、これと対向する一辺は
仮想カメラの撮像面を表す。

【００３７】今、各線分ｌ₀，ｌ₁，ｌ₂上で撮影した
画像を用いてＶ_pを仮想撮影点（観察者から考えた場合
は視点）とした画像（これを仮想画像とする）を再構成
することを考える。Ｖ_pを仮想撮影点とした仮想画像Ｖ
_uの画素の値は、仮想撮影点Ｖ_pと仮想画像Ｖ_uを結ん
だ線分を延長し、線分ｌ₀，ｌ₁，ｌ₂と交わった点Ｒ
_pを撮影視点（レンズ中心）として撮影した画像Ｒ_uの
画素の値と同じであることがこの図から理解できる。仮
想画像を得るには、このように画素単位に光線追跡を行
い、仮想画像を構成する画素の値を一つづつ決定すれば
よい。

【００３８】上記のような処理を行うことにより、限ら
れた撮影視点位置から撮影された画像から、任意の視点
位置および視線方向の画像を再構成することができる。
ただし、任意の視点位置および視線方向の画像を再構成
することができる領域は、線分ｌ₀と線分ｌ₁，線分ｌ
₁と線分ｌ₂，線分ｌ₂と線分ｌ₀の端点を結んで構成
される６角形内に限定される。

【００３９】次に、図３を参照しながら本実施例の画像
表示装置の構成を説明する。図３において、１はヘッド
マウンティッド・ディスプレイ（ＨＭＤ）等の画像表示
用の表示スクリーン、２は表示スクリーン１を眺める利
用者の目の位置を検出する視点検出器である。

【００４０】３は前述のように平面上に並んだ十分に間
隔が細かい視点から、表示する対象物を撮影した多視点
画像データを保持している多視点画像データベースであ
る。４は表示スクリーン１に関するパラメータを保持す
る表示パラメータ保持部、５は多視点画像データベース
３の多視点画像を撮影した際の視点の並びの平面を表す
座標系を保持している撮影視点座標系保持部である。

【００４１】６は多視点画像データベース３の多視点画
像の画像パラメータを保持している多視点画像パラメー
タ保持部である。７は視点検出器２からの信号をもとに
視点パラメータを算出する視点パラメータ算出部、８は
視点の移動に対応した画像を生成する画像生成部、９は
注目する画素を示す画素インデクス信号である。

【００４２】１０は視点パラメータと表示パラメータと
から、画素インデクス信号９の示す画素に対応する視線
方向を算出する視線パラメータ算出部、１１は視線パラ
メータの表す視線と、撮影視点座標系が表す撮影視点の
並びの平面との交点（撮影視点）を算出する撮影視点パ
ラメータ算出部である。

【００４３】１２は視線パラメータ、撮影視点座標系、
撮影視点パラメータ、および多視点パラメータから視点
における画像の視線方向に対応する画素位置を算出する
画素位置算出部、１３は画素位置と撮影視点パラメータ
をもとに、多視点画像データベース３の多視点画像か
ら、対応する画素値を算出する画素値算出部である。

【００４４】１４は表示スクリーン１へ画像を表示する
画像表示部である。１５は、視点パラメータが更新され
たことを示す更新信号、１６は画素値を表す画素値信号
である。なお、視線パラメータ算出部１０、撮影視点パ
ラメータ算出部１１、画素位置算出部１２、および画素
値算出部１３をまとめて画素値生成部１７と呼ぶ。

【００４５】次に、図４の画像処理装置の作用の概略を
述べる。表示スクリーン１を眺める利用者が頭の位置を
変えて視点を移動させると、視点検出器２の出力信号が
変化する。視点パラメータ算出部７は、この変化を受け
て、更新信号１５を画像生成部８へ送る。

【００４６】更新信号１５を受けると、画像生成部８は
画素値生成部１７に向けて画素値インデックス信号９を
出力する。これにより、画素値生成部１７は上記視点移
動に対応した新たな画像の生成を開始する。その結果、
画像生成部８はすべての画素について、上記出力した画
素インデクス信号９に対応した画素値信号１６を画素値
生成部１７より得ることができる。

【００４７】画素値生成部１７では、まず視線パラメー
タ算出部１０が、視点パラメータ算出部７から視点パラ
メータを取得するとともに、表示パラメータ保持部４か
ら表示パラメータを取得し、画素インデクス信号９に対
応する視線パラメータを算出する。

【００４８】次に、撮影視点パラメータの表す視線と、
撮影視点座標系が表す撮影視点の並びの平面との交点
（撮影視点）を表す撮影視点パラメータを算出する。一
方、画素位置算出部１２は、多視点画像パラメータ保持
部６から多視点画像パラメータを取得する。そして、こ
の取得した多視点画像パラメータの他に、視線パラメー
タ、撮影視点座標系、および撮影視点パラメータから、
撮影視点における画像の視線方向に対応する画素位置を
算出する。

【００４９】画素値算出部１３は、画素位置と撮影視点
パラメータを基に、多視点画像データベース３の多視点
画像から、対応する画素値信号１６を算出し、この画素
値信号１６を画像生成部８に出力する。画像生成部８
は、すべての画素について画素値信号１６を画素値算出
部１３より得ると、これらの画素値信号１６に基づいて
画像を生成し、その生成した画像を画像表示部１４へ送
る。

【００５０】画像表示部１４は、このようにして新しい
視点に対応して再構成された画像を表示スクリーン１の
表示面に表示する。この結果として、利用者は、多視点
画像データベース３に保持されている画像を、表示スク
リーン１を通して眺めることができるようになる。

【００５１】次に、各部の処理を詳しく説明する。ただ
し、説明を分かりやすくするために、以下の説明では上
下方向の視差を省略して説明する。まず、図５および図
６を用いて、視線パラメータ算出部１０で行う処理につ
いて説明する。

【００５２】図５は、視線パラメータ算出部１０の算出
原理を示す図である。１は表示スクリーン、２１は表示
スクリーン１の端点（位置ベクトルＶ_s）、２２は長さ
が表示スクリーン１のピクセルピッチで、傾きが表示ス
クリーン１の傾きに一致するベクトル（表示スクリーン
ベクトルｐ）である。

【００５３】２３は、表示スクリーン１上の注目する画
素位置（位置ベクトルＶ_u）、２４は利用者の視点位置
（位置ベクトルＶ_p）、２５は注目する画素位置２３に
対応する視線、２６は視線２５の傾きを表す視線ベクト
ル（ｖ）である。

【００５４】図６は、視線パラメータ算出部１０の処理
を示すフローチャートである。まず、ステップＳ３１で
視点パラメータ算出部７から視点パラメータを取得す
る。ここで視点パラメータは、図５の利用者の視点位置
２４である。次にステップＳ３２で表示パラメータ保持
部４から表示パラメータを取得する。

【００５５】ここで、表示パラメータとは、表示スクリ
ーン１の端点２１、表示スクリーンベクトル２２であ
る。表示スクリーンベクトル２２は、表示スクリーンの
傾き、実サイズおよびピクセルサイズから決定される。

【００５６】次に、ステップＳ３３で、図５に示す幾何
学に従い、画素インデクス信号９に対応する表示スクリ
ーン１上の注目する画素位置２３を以下の（１）式で算
出する。ただし、（１）式において、画素インデクス信
号９をｉとする。Ｖ_u＝Ｖ_s＋ｉ・ｐ（１）

【００５７】次に、ステップＳ３４で、視点位置２４か
ら眺めた場合の画素位置２３の方向に対応する視線パラ
メータを求める。視線パラメータは、視点位置２４およ
び視線ベクトル２６の組み（Ｖ_p，ｖ）とする。視線２
５は図５に示す幾何学に従い、画素位置２３および視点
位置２４の２点を通る直線であり、視線ベクトル２６は
以下の（２）式で算出する。ｖ＝Ｖ_u−Ｖ_p （２）

【００５８】次に、図７を用いて撮影視点パラメータ算
出部１１および画素位置算出部１２の処理を説明する。
図７は撮影視点パラメータ算出部１１および画素位置算
出部１２の算出原理を示す図である。

【００５９】図７において、２５は視線、４１は多視点
画像データベース３の多視点画像を撮影した際の撮影視
点の並びの一部を示すｎ番目の撮影視点並び直線ｌ
_j（j ＝０，・・・，ｎ，ｎ＝〔１８０／θ〕）であ
る。〔１８０／θ〕は１８０／θを越えない整数を表
す。ただし、撮影視点並び直線は各々の中点において角
度θで交差している。

【００６０】４２は撮影視点並び直線４１（ｌ_j）の傾
きを表すベクトル（撮影視点並びベクトルｒθ（ｊ）・
ｘ）である。ただし、ベクトルｘは撮影視点並び直線ｌ
₀の傾きを表すベクトルであり、

【００６１】

【数１】

【００６２】である。４４は撮影視点並び直線４１（ｌ
_j）の中点である原点、４５は撮影視点４２における画
角θの視野、４６は、長さが多視点画像を撮影したカメ
ラの焦点距離で、傾きがカメラの傾きであるようなベク
トル（焦点ベクトルｆ）、４７は撮影視点４２における
カメラの撮像面である。

【００６３】４８は撮像面４７と視線２５との交点であ
る画素位置（位置ベクトルＲ_u）、４９は長さが撮像面
４７のピクセルピッチで、傾きが仮想的な撮像面４７の
傾き（通常は焦点ベクトル４６に直角）に一致するベク
トル（撮像面ベクトルｑ）である。

【００６４】ここで、撮影視点並びベクトル４３および
原点４４が撮影視点座標系を表す値として、撮影視点座
標系保持部５に保持されている。また、焦点ベクトル４
６および撮像面ベクトル４９は、多視点画像パラメータ
として多視点画像パラメータ保持部６に保持されてい
る。

【００６５】焦点ベクトル４６は、多視点画像を撮影し
たカメラの焦点距離および傾きから決定される。撮像面
ベクトル４９は、焦点ベクトル４６に直交し、大きさが
撮像面のセルサイズ（１ピクセルの大きさ）に等しいベ
クトルである。

【００６６】次に、図７を用いて撮影視点パラメータ算
出部１１の処理を説明する。図７に示す幾何学に従う
と、撮影視点４２は以下の（３），（４）式で表され
る。Ｒ_p＝ｔ・ｒθ（ｊ）・ｘ（３）Ｒ_p＝Ｖ_p＋ａ・ｖ（４）

【００６７】ここで、撮影視点を一意に表すパラメータ
としてｔを視点パラメータとする。また、ｊ＝０〜ｎ，
ｎ＝〔１８０／θ〕，ａは視線方向の係数である。ｊ＝
１〜ｎの各々に対して（３），（４）式を解くことによ
りｔを算出し、Ｒ _pを算出する。

【００６８】このとき、複数の（ｊ，ｔ）の組が解とし
て得られるが、（ｊ，ｔ）によって定まる焦点ベクトル
ｆと視線ベクトルｖのなす角が最も小さいものを解とし
て採用する。

【００６９】次に、図７を用いて画素位置算出部１２の
処理を説明する。図７の示す幾何学に従い、画素位置４
８は以下の（５），（６）式で表される。Ｒ_u＝Ｒ_p＋ｒθ（ｊ）・（ｆ＋ｋ・ｑ）（５）Ｒ_u＝Ｒ_p＋β・ｖ（６）

【００７０】ここで、画素位置４８を一意に表すパラメ
ータとしてｋを画素位置パラメータとする。βは視線方
向の係数である。（５），（６）式を解くことによりｋ
を算出し、これを画素位置算出部１２の出力とする。

【００７１】次に、画素値算出部１３の処理について具
体的に説明する。本実施例では、多視点画像データベー
ス３に保持されている多視点画像は、十分細かい視点間
隔で撮影した画像である。

【００７２】そこで、まず、撮影視点パラメータ算出部
１１で算出された撮影視点パラメータの示す撮影視点４
２からの画像の近似画像として、撮影視点に一番近い点
から撮影された画像を、多視点画像データベース３から
見つける。次に、この画像のうち、画素位置算出部１２
で算出された画素位置４８に最も近い位置の画素の値を
取得し、これを出力の画素値信号１６とする。

【００７３】以上、説明をわかりやすくするため、上下
方向の視差を省略して各部の処理を説明したが、上下方
向の多視点画像を用意すれば、同様の方法で上下方向の
視差を考慮に入れた任意方向に視点移動可能な表示装置
を構成することができる。

【００７４】なお、本実施例ではヘッドマウンティッド
・ディスプレイ（ＨＭＤ）を用いて両方の目に同じ画像
を提示する場合を示したが、視点パラメータ算出部７が
左右各々の目の位置に対応する視点パラメータを算出
し、これに対応して画像生成部８が左右各々の目に提示
するための画像を生成することにより、前後上下左右に
視点移動可能な両眼立体表示装置となる。

【００７５】次に、本発明の画像処理装置を、多視点画
像データベース３に保持されている多視点画像の視点間
隔が十分に細かくない場合でも、自由に視点移動表示で
きる画像表示装置に適用した第２の実施例を示す。

【００７６】本実施例では、第１の実施例の多視点画像
データベース３と画素値算出部１３の中間に、視点間補
間処理部を用いる。視点間補間処理部は多視点画像デー
タベース３中の粗い視点間隔で撮影された多視点画像か
ら十分に細かい視点間間隔の多視点画像を生成する。

【００７７】こうして生成された多視点画像を用いて、
第１の実施例と同様に任意の視点からの画像を生成す
る。ただし、説明を分かりやすくするために、ここで
も、上下方向の視差を省略した場合について説明する。
このとき、多視点画像データベース３中の多視点画像
は、左右方向に１列分の直線上に並んだ撮影視点からの
多視点画像が保持されている。

【００７８】以下、図８〜図１４を用いて、視点間補間
処理部について詳しく説明する。図８は、本実施例の視
点間補間処理部の処理の流れを示すフローチャートであ
る。まずステップＳ７で、多視点画像データベース３の
中から、粗い視点間隔で撮影された多視点画像を取得す
る。

【００７９】次に、ステップＳ８で、視点画像間の対応
点探索（動きベクトル検出）を行う。対応点探索が終了
すると、次にステップＳ９に移り、画像の視点間の補間
処理を行い、ステップＳ１０で未補間画素値の推定を行
い、十分に細かい視点間間隔の多視点画像を求める。

【００８０】図９は、ステップＳ８の対応点探索処理の
フローチャートである。ステップＳ１１において、初期
設定として注目ラスタを各画像の第１ラスタにセットす
る。次に、ステップＳ１２において各画像の注目ラスタ
をワークメモリに読み込み、仮想的にｊ番目のエピポー
ラプレーンＥＰＩを構成する。

【００８１】なお、ここで言うｊ番目のエピポーラプレ
ーンＥＰＩとは、図１０に示すように画像平面上の各点
ＥＰj(x,i)が、ＥＰj(x,i)＝Ｎi(x,j) を満たすような点ＥＰj(x,i)の集合のことである。

【００８２】ただし、Ｎi(x,j)はｉ番目の画像（ここで
は、ｉ＝１〜４）のｊライン目におけるｘ番目の画素
値、すなわちｉ番目の画像において座標が(x,j) で表さ
れる画素の値を表している。

【００８３】入力機器（カメラ）を等間隔かつ平行に設
置して撮影した多視点画像を考える場合、このエピポー
ラプレーンＥＰＩ上では、対応する点は全て直線上に並
んで存在する。したがって、対応点の検出は、直線を検
出することによって行えことができる。また、画像の補
間は検出された直線上で行えばよいことになる。

【００８４】そこで、ステップＳ１３において対応点が
存在する直線を抽出し、ステップＳ１４において、得ら
れた直線から対応点を計算して記憶する。具体的なアル
ゴリズムを，図１１のフローチャートを用いて示す。

【００８５】まず、ステップＳ２１において、優先順位
ｎ＝１、注目画素のラスタｒ＝１に設定する。次に、ス
テップＳ２２に移り、ＥＰj(x,r)を注目画素とし、ｍ＝
ｋ１〜ｋ１＋ｋ２，ｘ＝１〜ｎｘの範囲内で、

【００８６】

【数２】

【００８７】を満足するｍを全て求める。ただし、ｍは
実数値も取りえるので、ｘ＋ｍ×（ｉ−ｒ）の値は四捨
五入して対応するｘ座標を決定する。なお、ＴＨ２は対
応点を見つけるためのしきい値であり、ここでは１２０
０に設定している。

【００８８】この１２００の意味合いであるが、４ライ
ンのエピポーラプレーンＥＰＩなので差分を３回計算す
ることになる。したがって、それぞれの差分値が２０以
下くらいであれば、ほぼ同じ色であるという仮定のもと
に３×２０×２０＝１２００としている。

【００８９】もし、理想的な入力系で画像にスペキュラ
ー成分が存在しない場合（各画像に写っている点は同じ
画素値を持つ）は、ＴＨ２＝０で良いが、実際の入力系
では同じ点でも各画像で画素値がばらついているため、
幅を持たせて差分値を２０としている。

【００９０】したがって、入力系が高精度になるほどこ
の差分値は小さくなり、逆の場合は差分値を大きく設定
する必要がある。上記の手法は、画素値が三原色ＲＧＢ
信号の場合にそれぞれに対して行う場合だが、それだけ
でなく、ＹＩＱ、あるいはＨＳＩなどさまざまな表色系
に一度変換した場合にも対応でき、それぞれに適したし
きい値を設定して用いることも可能である。

【００９１】また、ｋ１は入力方式によって定まる値で
あり、カメラを平行にかつ等間隔に配置し撮影する場合
はｋ１＝０である。ｋ２はカメラ間隔と物体までの距離
により決定される値で、ここではｋ２＝２０に設定（す
なわち、２０画素以上は移動しないと仮定）している。
ただし、ｎｘは画像の主走査方向の画素数を表す。

【００９２】また、ＥＰj(x+m ×(i-r),i)が存在しない
場合は、このｍにおける対応点は存在しないとして処理
を続ける。ただし、ステップＳ２２においてＥＰj(x+m
×(i-r),i)が処理済の場合は、ＥＰj(x+m ×(i-r),i)−
ＥＰj(x,r)＝０として処理を続ける。

【００９３】次に、ステップＳ２３に移り、ステップＳ
２２により求まった傾きｍの直線から優先順位ｎの対応
点を求め、メモリに記憶する。複数の対応点が求まる場
合は、便宜上全てを優先順位ｎの対応点として記憶す
る。対応点として求まった画素は処理済の画素とする。

【００９４】ステップＳ２３において、傾きｍの直線よ
り求まった対応点が既に処理済の場合は、この点を対応
点から除外する。さらにｗに未処理の画素数をセットす
る。次に、ステップＳ２４に移り、未処理の画素数ｗが
０か否かを判定する。

【００９５】上記判定の結果、０ならば処理を終了し、
ステップＳ１４に戻る。また、判定の結果が０でなけれ
ばステップＳ２５に移り、注目ラスタｒが最終ラスタか
どうかを判定し、最終ラスタならばステップＳ２６にお
いてｒ＝１（先頭ラスタ）に設定し、そうでなければス
テップＳ２７にて注目ラスタの値を１つ増やす。

【００９６】図１１中のＲは、エピポーラプレーンＥＰ
Ｉの構成ラスタ数（ここではＲ＝４）を示している。次
に、ステップＳ２８に移り、優先順位を示すｎがＮに等
しいか否かを判定する。Ｎは物体どうしが隠蔽しあう現
象（オクルージョン）の複雑さを表すための定数であ
る。

【００９７】すなわち、定数Ｎが大きな値であれば物体
が幾重にも重なっている状態であり、定数Ｎが小さけれ
ば物体の重なりは少ない。定数Ｎの値の設定は、どの程
度のオクルージョンまで再現するかにより決まってく
る。ここでは、経験的な値としてＮ＝（Ｒ−１）×１
０、すなわち、定数Ｎ＝３０に設定している。

【００９８】ステップＳ２８においてｎ≠Ｎならばステ
ップＳ３０においてｎの値を１増やし、ｕにｗの値をセ
ットし、ステップＳ２２に戻る。また、ｎ＝Ｎならばス
テップＳ２９に移り、未処理の画素数が前回の処理時よ
りも減少したか否かを判定し、減少したならば、ステッ
プＳ３０に移り、そうでなければ第ｊ−ＥＰＩでの直線
検出処理を終了し、ステップＳ１４に戻る。

【００９９】上記のようなアルゴリズムで処理を行うこ
とにより、２枚の画像からでは求まらなかった対応点が
検出でき、また、オクルージョン等にも対応できるの
で、対応点探索の精度が向上する。

【０１００】ステップＳ１４において、入力画像のすべ
てのラスタについて処理が行われたか否かが判定され、
まだならば、ステップＳ１５においてｊの値を１増やし
てステップＳ１２に戻る。また、すべてのラスタについ
て処理が終了したならば、ステップＳ９に移る。ここ
で、ｎｙは入力画像の総ラスタ数を表している。ステッ
プＳ９では、画像の補間処理を行う。画像の補間処理
は、ステップＳ８より求まった対応点を用いて行う。

【０１０１】図１２は、ｊ番目のエピポーラプレーンＥ
ＰＩを表している。図１２において、ａｌ，ｂｌは優先
順位１の対応点を示し、ｃ２は優先順位２の対応点を示
している。入力画像間に等間隔にｎ枚の画像を補間する
場合を考える。ここでは説明を簡単にするため、内挿ラ
スタ数を２とする。

【０１０２】このことをｊ番目のエピポーラプレーンＥ
ＰＩで考えた場合、図１４に示すようにエピポーラプレ
ーンＥＰＩのライン間に２本ずつラスタを内挿し、原画
のエピポーラプレーンＥＰＩの対応点同士を結んだ直線
上にある内挿されたラスタの画素値は対応点同士の平均
値に設定すればよい。以下、図１３のフローチャートを
用いて説明する。

【０１０３】まず、ステップＳ５１において画像補間処
理のための初期設定を行う。ｊ＝１にセットし、注目エ
ピポーラプレーンＥＰＩを第ｊ−ＥＰＩにセットする。
また優先順位ｎをｎ＝Ｎにセットする。ここで、定数Ｎ
はステップＳ２８で用いたＮ（Ｎ＝３０）と同じもので
ある。

【０１０４】次に、ステップＳ５２に移り、第ｊ−ＥＰ
Ｉ上の優先順位ｎの対応点を結んだ直線を考え、この直
線上にある内挿ラスタの画素値を直線上にある原画の画
素値の平均値にセットする。ただし、同じ優先順位の対
応点が複数ある場合は、対応点を結んだ直線の傾きの小
さい（ラスタに対して垂直な直線を傾き０と考える）も
のから順に処理を行う。

【０１０５】この処理を終えたらステップＳ５３に移
り、注目ＥＰＩ上の優先順位ｎのすべての対応点に対し
てステップＳ５２の処理が終了したか否かの判定を行
い、終了していなければステップＳ５２に戻る。また、
終了したならば、ステップＳ５４に移り、現在処理して
いる優先順位が１かどうかの判定を行う。

【０１０６】そして、判定が１でなければ、ステップＳ
５５にて優先順位を１つ減じて（ｎ＝ｎ−１）ステップ
Ｓ５２に移り、１ならばステップＳ５６にて注目エピポ
ーラプレーンＥＰＩが最終のものかどうかの判定を行
う。

【０１０７】ここで、ｎｙはステップＳ１４で用いたｎ
ｙと同じもので、入力画像の総ラスタ数である。注目ラ
スタが最終のエピポーラプレーンＥＰＩでなければ、注
目ＥＰＩにセット（ｊ＝ｊ＋１）し、ステップＳ５５に
戻る。最終のエピポーラプレーンＥＰＩならば画像補間
処理を終了し、ステップＳ１０に戻る。

【０１０８】以上述べたように、優先順位の低い（ｎの
値が大きい）対応点から順に処理を行い、優先順位の高
い対応点によって上書きすることで図１４に示すよう
に、オクルージョンを考慮した補間処理を行うことがで
きる。ただし、ａ，ｂ，ｃはそれぞれ対応点ａ１，ｂ
１，ｃ２により内挿された画素を表している。

【０１０９】次に、図８のステップＳ１０に移り、ステ
ップＳ９において対応点の求まらなかった画素の値を周
囲の補間ずみの画素から推定する。上記推定の方法とし
ては、近傍の画素値の平均値を推定値とする方法や、最
も近い画素位置の推定値とする方法がある。

【０１１０】以上述べた構成および方法を用いて対応点
画像データベース３の画像から視点間補間画像を生成す
ることにより、撮影視点並びの直線上で、撮影視点以外
の視点からの画像が得られ、これから、任意視点からの
画像を生成することができる。したがって、多視点画像
データベース３には十分に細かい視点間隔の多視点画像
を保持しておく必要がなく、視点画像データベース３の
記憶容量が大幅に削減されるという効果がある。

【０１１１】また、以上は上下方向の視差を省略した場
合について説明したが、多視点画像データベース３に、
平面上の格子状の粗い視点間隔の撮影視点から撮影した
多視点画像を保持し、まず、左右方向にこれらの多視点
画像を視点間補間し、次に、上下方向に視点間補間する
ことにより、上下方向の視差も考えた画像を生成するこ
とができる。

【０１１２】次に、本発明の第３の実施例を説明する。
上述した第１の実施例では、カメラの画角と線分ｌ₀，
ｌ₁，ｌ₂の交差する角度が等しいとして説明したが、
一般にカメラの画角よりも線分ｌ₀，ｌ₁，ｌ₂の交差
する角度のほうが小さければ、線分ｌ₀，ｌ₁，ｌ₂で
規定される領域内を自由に視点移動できる。

【０１１３】また、上記の各実施例では、あらかじめ撮
影された多視点画像が多視点画像データベース３に保持
されている構成とした。しかし、これを多視点画像を実
時間で取り込むことのできる多眼テレビカメラに置き換
える（直線上に並んだ複数のカメラの組を複数組用い
る）ことにより、実時間の任意視点画像撮影・表示シス
テムとなる。

【０１１４】また、実時間の撮影はできないが、例え
ば、線分ｌ₀上に複数のカメラを並べて画像を撮影し、
次に、線分ｌ₁の位置までカメラ全体を回転して撮影す
る。同様に線分ｌ₂の位置までカメラを回転させて撮影
することにより、少ないカメラ台数で高速に撮影が可能
となる。

【０１１５】このとき、回転の中心を、直線上に並んだ
カメラ中の両端のカメラのレンズ中心を結んだ線分の中
点に選べば、自由に視点移動できる領域の大きさが最大
となる。

【０１１６】なお、本発明は単体の画像処理装置に適用
しても良いし、多視点テレビ、多視点テレビ電話端末や
多視点テレビ会議システムのようなシステム機器に適用
しても良い。さらに、コンピュータや他の画像処理装置
と組み合わせた複合装置にも適用できる。

【０１１７】

【発明の効果】本発明は上述したように、複数の異なる
直線上に配置された複数の視点位置から得られる画像を
入力するとともに、上記画像を見ている観察者の目の位
置および上記観察者が見ている方向を検出し、上記検出
結果に基づいて、検出した視点位置から見える画像を多
視点画像データから再構成するようにしたので、空間内
の自由な視点移動に対応した画像を再構成することがで
きるようになり、空間内の任意な視点移動を可能にする
ことができる。

【０１１８】また、本発明の他の特徴によれば、対応点
画像データベースの画像から補間処理により視点間補間
画像を多数生成するようにしたので、上記したように空
間内の任意な視点移動を可能にするために、十分に細か
い視点間隔の多視点画像を多視点画像データベースに保
持しておく必要がない。これにより、上記視点画像デー
タベースの記憶容量が小さくて済み、大型化および高コ
スト化させることなく装置を構成することができる。

【図面の簡単な説明】

【図１】本発明の画像処理方法の手順を説明するための
フローチャートである。

【図２】本発明の画像処理装置の概略構成を説明するた
めの機能構成図である。

【図３】本発明の画像処理装置を適用した第１の実施例
である画像表示装置の構成を示す図である。

【図４】本発明の原理を説明するための図である。

【図５】視線パラメータ算出物体の算出原理を示す図で
ある。

【図６】視線パラメータ算出部の処理手順を示すフロー
チャートである。

【図７】視線パラメータ算出部および画素位置算出部の
算出原理を示す図である。

【図８】第２の実施例の視点間補間処理部の処理手順を
示すフローチャートである。

【図９】対応点探索処理の処理手順を示すフローチャー
トである。

【図１０】エピポーラプレーンを説明するための図であ
る。

【図１１】エピポーラプレーン上での直線検出の流れを
示すフローチャートである。

【図１２】検出された対応点の例を示す図である。

【図１３】画像補間処理のフローチャートである。

【図１４】検出された対応点から補間処理した例を示す
図である。

【図１５】レンチキュラディスプレイをの一例を説明す
るための図である。

【符号の説明】

１表示スクリーン２視点検出器３多視点画像データベース４表示パラメータ保持部５撮影視点座標系保持部６多視点画像パラメータ保持部７視点パラメータ算出部８画像生成部９画素インデクス信号１０視線パラメータ算出部１１撮影視点パラメータ算出部１２画素位置算出部１３画素値算出部１４画像表示部１５更新信号１６画素値信号１７画素値生成部

───────────────────────────────────────────────────── フロントページの続き (72)発明者瓜阪真也東京都大田区下丸子３丁目30番２号キヤノン株式会社内 (72)発明者佐藤宏明東京都大田区下丸子３丁目30番２号キヤノン株式会社内

Claims

【特許請求の範囲】

【請求項１】複数の異なる直線上に配置された複数の
視点位置から得られた画像を入力する多視点画像入力ス
テップと、上記画像を見ている観察者の目の位置および見ている方
向を検出する視点検出ステップと、上記視点検出ステップにより検出された視点位置から見
える画像を多視点画像データから再構成する画像再構成
ステップと、上記再構成された画像を画像出力装置を介して出力する
画像出力ステップとを備えたことを特徴とする画像処理
方法。
【請求項２】上記複数の異なる直線同志が交差する角
度は、撮影するカメラの画角と等しいか、またはそれよ
りも小さいことを特徴とする請求項１に記載の画像処理
方法。
【請求項３】直線上に並んだ複数のカメラを一組用
い、両端のカメラのレンズ中心を結ぶ線分の中点を中心
に回転させて撮影することにより、複数組のカメラセッ
トを使用して撮影した画像と等価な画像を取得するよう
にしたことを特徴とする請求項１に記載の画像処理方
法。
【請求項４】上記多視点画像入力ステップは、予め直
線上に並べられた複数のカメラを複数組用いて異なる視
点位置から撮影された画像が格納されたデータベースか
ら入力することを特徴とする請求項１に記載の画像処理
方法。
【請求項５】上記多視点画像入力ステップは、１台以
上のカメラで撮影した画像を補間処理することにより、
上記撮影画像を撮影した位置から見た画像とは異なる補
間画像を生成し、上記撮影画像と上記補間処理により生
成した補間画像とを入力することを特徴とする請求項１
に記載の画像処理方法。
【請求項６】上記画像再構成ステップは、上記観察者
の視点位置および画像出力装置の種類から画像の再構成
に必要なパラメータを計算し、そのパラメータを用いて
再構成画像の各画素が、上記多視点画像入力ステップで
入力された多視点画像のどの画素に対応するかを計算
し、上記計算結果に基づいて対応する画素を上記多視点
画像データから抽出して画像の再構成を行うことを特徴
とする請求項１に記載の画像処理方法。
【請求項７】複数の異なる直線上に配置された複数の
視点位置から得られる画像を入力する多視点画像入力手
段と、上記画像を見ている観察者の目の位置と見ている方向を
検出する視点検出手段と、上記視点検出手段によって検出された視点位置から見え
る画像を、上記多視点画像データから再構成する画像再
構成手段と、上記画像再構成手段によって再構成された画像を出力す
る画像出力手段とを備えていることを特徴とする画像処
理装置。
【請求項８】上記複数の異なる直線同志が交差する角
度は、撮影するカメラの画角と等しいか、またはそれよ
りも小さいことを特徴とする請求項７に記載の画像処理
装置。
【請求項９】直線上に並んだ複数のカメラを一組用
い、両端のカメラのレンズ中心を結ぶ線分の中点を中心
に回転させて撮影することにより、複数組のカメラセッ
トを使用して撮影した画像と等価な画像を取得するよう
にしたことを特徴とする請求項７に記載の画像処理装
置。
【請求項１０】上記多視点画像入力手段は、予め直線
上に並べられた複数のカメラを複数組用いて異なる視点
位置から撮影された画像が格納されたデータベースから
入力することを特徴とする請求項７に記載の画像処理装
置。
【請求項１１】上記多視点画像入力手段は、１台以上
のカメラで撮影した画像を補間処理することにより、上
記撮影画像を撮影した位置から見た画像とは異なる補間
画像を生成し、上記撮影画像と上記補間処理により生成
した補間画像とを入力することを特徴とする請求項７に
記載の画像処理装置。
【請求項１２】上記画像再構成手段は、上記観察者の
視点位置および画像出力装置の種類から画像の再構成に
必要なパラメータを計算し、そのパラメータを用いて再
構成画像の各画素が、上記多視点画像入力ステップで入
力された多視点画像のどの画素に対応するかを計算し、
上記計算結果に基づいて対応する画素を上記多視点画像
データから抽出して画像の再構成を行うことを特徴とす
る請求項７に記載の画像処理装置。