JPH08279961A - 画像処理方法及びその装置 - Google Patents

Abstract

(57)【要約】 【目的】 多視点画像からエピポーラプレーンイメージ
（ＥＰＩ）を用いて各視点とは異る視点から見た画像を
精度よく形成する。 【構成】 撮影位置（視点位置）の異る４台のカメラ２
０〜２３により１つの物体を撮影して４枚の多視点画像
を得、各画像において同じ位置にあるラインを検出して
ＥＰＩを作成し、ＥＰＩ上で物体上の１つの注目点に対
応する点を検出し、これらの対応点から内挿補間により
各視点位置とは異る視点位置から見た画像を形成する。
上記対応点の検出に際しては、ＲＧＢ表色系とＨＶＳ
（色相、明度、彩度）表色系とを併用することにより、
物体の鏡面反射による対応点検出の精度が低下すること
をなくす。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は複数のカメラ等の撮像装
置から得られた多視点画像を補間処理することにより各
カメラの視点とは異る視点から撮影した画像を生成する
画像処理方法及びその装置に関するものである。

【０００２】

【従来の技術】従来、複数の視点位置から撮影した複数
の多視点画像を基に、撮影した各位置とは異る位置から
撮影した画像を生成する手法としてエピポーラプレーン
イメージ（以下ＥＰＩと略す）を用いる方法がある。こ
の方法は、図１７に示すように１つの物体を複数（図で
は４台）のカメラで撮影して得られる各画像中の同じ位
置にあるラインを抽出して１つの画像に合成してＥＰＩ
を作成し、このＥＰＩ上で図示のように内挿ラインを補
間する直線検出を行うことにより注目点に対応する点を
求め、これらの対応点から撮影した各視点位置とは異る
視点位置から撮影した場合に得られる画像を生成すると
いう方法である。

【０００３】

【発明が解決しようとする課題】しかしながら、上記従
来例では物体表面が完全な拡散面でない場合は、撮影の
照明条件、物体形状、表面特性に伴い、撮影位置により
同一点の色が変色してしまい、ＥＰＩ上で直線検出を行
う際に対応点と認識できず、直線検出が行えないという
問題点があった。

【０００４】本発明は上記問題点に鑑みてなされたもの
で、対応点を検出する際に物理的表色系と知覚的表色系
とを併用することにより、直線検出を高い精度で行うこ
とを目的としている。

【０００５】

【課題を解決するための手段】本発明による画像処理方
法においては複数の視点位置から撮影した画像を入力す
る画像入力ステップと、物理的表色系と知覚的表色系と
を用いて上記入力画像間の対応点を検出する対応点検出
ステップと、上記入力画像を用いてこの入力画像の視点
位置とは異なる視点位置での画像を生成する画像補間ス
テップとを設けている。

【０００６】本発明による画像処理装置においては複数
の視点位置から撮影した画像を入力する画像入力手段
と、物理的表色系と知覚的表色系とを用いて上記入力画
像間の対応点を検出する対応点検出手段と、上記入力画
像を用いてこの入力画像の視点とは異なる視点位置での
画像を生成する画像補間ステップとを設けている。

【０００７】

【作用】本発明の画像処理方法及びその装置において
は、複数の位置から撮影して入力された多視点画像デー
タをＥＰＩに分解し、ＥＰＩ上で物理的表色系と知覚的
表色系とを併用した直線検出法により対応点を求め検出
された直線を用いて異った位置から撮影した場合に得ら
れるはずの画像を生成すると共に、この画像生成処理に
おいて値を特定できなかった画素の値を推定して画像を
生成し出力する。多視点画像としては、１台以上のカメ
ラから得られる多数枚の画像やデータベースに蓄積され
ている多視点画像（複数の異なる視点から撮影した画
像）を用いることができる。

【０００８】

【実施例】次に、本発明の実施例について図面を参照し
て説明する。 （第１の実施例）図１は画像入力部にカメラ４台用いた
場合の本発明の第１の実施例による画像処理装置の構成
を示すブロック図である。図において２０〜２３は画像
入力部におけるカメラ、２４は入力ポート、２５はＣＰ
Ｕ、２６はＲＡＭ、２７はＲＯＭ、２８はディスクＩ／
Ｏポート、２９はハードディスク、３０はＶＲＡＭ、３
１はビデオ信号出力用Ｉ／Ｆ、３２はレンチキュラーデ
ィスプレイである。なお、ここでは４台のカメラ２０〜
２３を用いて説明しているが、カメラの台数はこれに限
られず何台でもよい。

【０００９】図２は第１の実施例の処理の流れを示すフ
ローチャートである。カメラ等の画像入力機器から入力
された原画像は、まずステップＳ２１において、レンズ
の色収差や歪み、光軸のズレ、カメラの姿勢・位置等の
幾何学的な補正処理及びＣＣＤセンサの感度ムラ等の補
正処理が行なわれる。この処理は、予めキャリブレーシ
ョンしてその補正データをＲＯＭ２７やＲＡＭ２６の中
に記録しておけば、テーブル参照の形で高速に補正処理
が行える。また、この補正用データを画像入力前に毎回
求めれば正確な補正が可能となる。この補正処理が済む
とステップＳ２２に移り、撮影パラメータから対応点探
索を行う範囲を決定する。その結果を用いてステップＳ
２３に移り、各画像間の対応点検索を行う。対応点探索
が終了するとステップＳ２４に移り、画像の補正処理を
行った後、ステップＳ２５でレンチキュラーディスプレ
イ３２に補正済の入力画像と補間された画像とを表示す
る。

【００１０】次に、各処理を詳しく説明する。まず、図
３を用いてステップＳ２２の対応点探索範囲の算出処理
を説明する。図３は対応点探索範囲の算出原理を示す図
である。図において１０１は撮影したい空間の一番後方
の面、１０２は撮影空間Ω、１０３は撮影したい空間の
一番前方の面、１０４は撮影したい空間の一番後ろの面
１０１までの距離（Ｌｅ）、１０５は撮影したい空間の
一番前方の面１０３までの距離（Ｌｆ）、１０６は撮影
（視点）位置Ｐ１（１０８）から撮像面への垂線と、そ
の位置から距離ｄ（１０９）だけはなれた撮影位置Ｐ２
（１１０）から撮影空間Ωの一番前方の面１０３にある
撮影物体ａ（１１２）までを結んだ直線との角度α、１
０７は同様に撮影空間Ωの一番後ろの面１０１にある撮
影物体ｂ（１１３）まで結んだ直線と撮影位置Ｐ１から
の垂線との角度β、１１１は焦点距離ｆ、ａ′（１１
４）、ｂ′（１１５）は物体ａ（１１２）、ｂ（１１
３）の撮像面での位置を示す。

【００１１】この図３の幾何に従い、対応点探索範囲で
ある撮像面のａ′とｂ′との距離を求める。まず、撮影
位置Ｐ１（１０８）とＰ２（１１０）において、撮影空
間Ωの一番前方の物体であるａ（１１２）の各撮像面で
の移動距離ｄ１を求める。これは図３の幾何から次式で
求められる。なお、撮像面での主走査方向の大きさをｎ
ｘで表す。 ｄ１＝ｎｘ／（２ｔａｎα）＝ｎｘ／｛２（ｄ／Ｌｆ）｝ ………（１）

【００１２】同様に、撮影空間Ωの一番後方の物体ｂ
（１１３）の視点位置Ｐ１（１０８）とＰ２（１１０）
における各撮像面での移動距離ｄ２を求める。 ｄ２＝ｎｘ／（２ｔａｎβ）＝ｎｘ／｛２（ｄ／Ｌｅ）｝ ………（２）

【００１３】これらより、対応点探索としての直線探索
の傾きの範囲はｄ１〜ｄ２で変化させればよいことにな
る。また、探索刻みｓはそのカメラ台数Ｎから次式で求
めることができる。 ｓ＝１／Ｎ

【００１４】次に、求められた対応点探索パラメータを
用いた前記ステップＳ２３の対応点探索処理を図４を用
いて説明する。図４はステップＳ２３の対応点探索処理
のフローチャートである。ステップＳ３１において、初
期設定として注目ラスタを各画像の第１ラスタにセット
する。次にステップＳ３２において、各画像の注目ラス
タをワークメモリに読み込み、仮想的にｊ番目のエピポ
ーラプレーンイメージ（ＥＰＩ）を構成する。

【００１５】ここで言うｊ番目のＥＰＩとは図５に示す
ように画像平面上の各点ＥＰｊ（ｘ、ｉ）が ＥＰｊ（ｘ，ｉ）＝Ｎｉ（ｘ，ｊ） ………（３） を満たすような点ＥＰｊ（ｘ，ｉ）の集合のことであ
る。ただし、Ｎｉ（ｘ，ｊ）はｊ番目の画像（ここで
は、ｉ＝１〜４）のｊラスタ目におけるｘ番目の画素
値、即ちｉ番目の画像において座標が（ｘ、ｊ）で表さ
れる画素の値を表している。

【００１６】入力機器（カメラ等）が等間隔で平行に設
置されている場合、このＥＰＩ上では、対応する点は全
て直線上に並んで存在する。従って、対応点の検出はス
テップＳ３３において直線を検出することにより行うこ
とができる。また、画像の補間は検出された直線上で行
えばよいことになる。

【００１７】そこで、ステップＳ３４では、ステップＳ
３３で得られた直線から対応点を計算し、記憶する。し
かしながら対応点がスペキュラー成分を含む場合、ＲＧ
Ｂ表色系においては直線検出を行うことはできない。そ
こで、知覚的表色系を用いることにより、スペキュラー
成分を含む対応点に対しても直線検出が行えるようにす
る。光源が白色光であるとき、鏡面反射がなければ、あ
る対象物の色彩はＨＶＳ（色相、明度、彩度）空間にお
いて図６（ａ）のように分布する。なお、この図６はＨ
ＶＳ空間を対象物の持つ色相（Ｈ）を含む平面で切った
断面図である。これに対し、対象物が鏡面反射を起こす
と、鏡面反射を起こした部分の色彩の分布は図６（ｂ）
のようになる。その場合、色相（Ｈ）は変化せず一定で
ある。さらに、明度（Ｖ）、彩度（Ｓ）の変化は連続的
な変化であり、変化のピークの数は光源の数（ここでは
簡単のため光源が１つの場合について述べる）に依存す
る。

【００１８】従って、物理的表色形としてのＲＧＢ表色
系において対応点と認められなかった点についても、知
覚的表色系としてのＨＶＳ表色系において色相が不変で
あり、明度、彩度の変化が連続的かつ一過性のものであ
れば、スペキュラー成分を含んだ対応点と見なし、直線
検出を行うことができる。

【００１９】具体的なアルゴリズムを図７のフローチャ
ートを用いて示す。 （Ａ１）：ステップＳ５１で優先順位ｎ＝１、注目画素
のラインｒ＝１に設定する。 （Ａ２）：ステップＳ５２、Ｓ５３、Ｓ５４でＥＰｊ
（ｘ、ｒ）を注目画素とし、ｍ＝ｋ１〜ｋ２、ｘ＝１〜
ｎｘの範囲内で、全てのｉに対して以下の［条件］を満
足するｍを全て求め、検出された直線数をＬとしてメモ
リに記憶する。

【００２０】［条件］ （１）ＲＧＢ表色系において、 Ｅｊ（ｘ，ｒ）＝｜ＥＰｊ（ｘ＋ｍ×（ｉ−ｒ），ｉ）−ＥＰｊ（ｘ，ｒ）｜ ＜ＴＨ ………（４） または、 （２）ＲＧＢ表色系において、 Ｅｊ（ｘ，ｒ）≧ＴＨ かつ、ＨＶＳ表色系において、色相（Ｈ）不変、明度
（Ｖ）大、彩度（Ｓ）小かつ、一過性の変化

【００２１】ただし、ｍはステップＳ２２で求めた探索
刻みｓで変化させるため、実数値も取り得る。そこで、
上式においてｘ＋ｍ×（ｉ−ｒ）の部分の値は四捨五入
して対応するｘ座標を決定する。ＴＨは対応点を見つけ
るための閾値である。また、ｋ１、ｋ２はステップＳ２
２で求めたパラメータｄ１、ｄ２それぞれを用いる。ま
た、ＥＰｊ（ｘ＋ｍ×（ｉ−１），ｉ）が存在しない場
合は、この傾きｍにおける対応点は存在しないとして処
理を続ける。

【００２２】（Ａ３）：ステップＳ５５において、（Ａ
２）（Ａ３）により求められた傾きｍの直線から優先順
位ｎの対応点を求め、ｆ（Ｌ）の値と同時に（ｎ，ｆ
（Ｌ））としてメモリに記憶する。ここで、Ｌは検出さ
れた直線数で、ｆ（Ｌ）は直線数が多い場合には低い値
を、直線数が少ない場合には大きな値を示す関数であ
る。

【００２３】（Ａ４）：（Ａ２）（Ａ３）（Ａ３）を１
サイクルとして、処理済みでない画素に対してステップ
Ｓ５６における未処理の画素が減らなくなるまで上記の
サイクルを繰り返す。その際、ステップＳ５７において
優先順位ｎに１を加える。ただし、（Ａ３）においてＥ
Ｐｊ（ｘ＋ｍ×（ｉ−ｒ），ｉ）が処理済みの場合は、
ＥＰｊ（ｘ＋ｍ×（ｉ−ｒ），ｉ）−ＥＰｊ（ｘ，ｒ）
＝０として処理を続ける。（Ａ３）において傾きｍの直
線より求まった対応点がすでに処理済みでかつ（ｎ、ｆ
（Ｌ））のどちらか一方の値が現在検出したものよりも
大きい場合には、この点を対応点から除外する。

【００２４】（Ａ５）：（Ａ４）の処理を行っても未処
理の画素が減らなくなったならば、ステップＳ５９にお
いて注目ラインに１を加え、ＥＰｊ（ｘ，ｒ＋１）を注
目画素として（Ａ２）〜（Ａ４）と同様の処理を行う。
ただし、ｘ＝１〜ｎｘとする。（Ａ６）：最終ラインま
で処理が済んだならば対応点探索処理を終える。

【００２５】（Ａ７）：図４のステップＳ３５でラスタ
ｊの値に１加え、（Ａ１）〜（Ａ６）の処理を同様に行
う。 （Ａ８）：ステップＳ３６で最終ラスタまで処理が済ん
だならば、対応点探索を終了する。

【００２６】上記のように処理を行うことにより、２枚
の画像からでは求められなかった対応点が検出でき、ま
た、オクルージョン等にも対応できるので、対応点探索
の精度が向上する。また、ある注目画素からの直線を利
用した対応点としての確からしさを用いることによっ
て、一様な色の物体の前にある小さな物体の前後関係が
逆転することなく対応点探索が可能となる。さらに、物
理的表色系と知覚的表色系を併用し対応点探索を行うこ
とで、撮影位置により同一点の色が変化してしまう場合
にも直線検出が可能となる。

【００２７】次に図２のステップＳ２４に移り、画像の
補間処理を行う。画像の補間処理はステップＳ２３より
求められた対応点を用いて行う。具体的なアルゴリズム
を図８を例にして説明する。

【００２８】図８は、ｊ番目のＥＰＩを表している。ａ
１は優先順位１、得点ｆ（Ｌ）＝１の対応点を示し、ｂ
１は優先順位１、得点２０の対応点を示し、ｃ２は優先
順位２、得点２０の対応点を示している。入力画像間に
等間隔にｎ枚の画像を補間する場合を考える。ここでは
説明を簡単にするため、ｎ＝２とする。このことをｊ番
目のＥＰＩで考えた場合、図９に示すようにＥＰＩのラ
イン間に２本ずつラインを内挿し、原画の対応点同士を
結んだ直線上にある内挿されたラインの画素値は、直線
上の原画の前後の対応点の荷重平均値を設定すればよ
い。

【００２９】このために次の（Ｂ１）〜（Ｂ５）の処理
が行われる。 （Ｂ１）：優先順位１の対応点を結んだ直線を考え、こ
の直線上にある内挿ラインの画素値を直線上にある原画
の前後の画素値の荷重平均値にセットする、ただし、内
挿されたラインにおいて、既に対応点として値が代入さ
れていた場合でも、別の対応点の方が得点が高い場合
は、その内挿ラインの画素値を上書きすることができ
る。図９の対応点ａ１及びｂ１を例にとれば、対応点同
士を結んだ直線上の点ａ及びｂの画素値はそれぞれ、前
後のａ１、ｂ１で示される画素値の荷重平均値を取る。
しかし、座標（１１、３）ではａ１、ｂ１どちらの対応
点もあるが、得点の高いｂ１の対応点としてその平均値
ｂが代入される。

【００３０】（Ｂ２）：優先順位１の対応点処理が終っ
たら、次に優先順位２の対応点処理を行う。この処理
は、基本的には（Ｂ１）の処理と同じであるが（Ｂ１）
においてすでに補間された画素に対しては処理を行わな
い。 （Ｂ３）：優先順位２の対応点処理が終わったならば、
次に優先順位３の対応点処理に入る。（Ｂ２）と同様に
すでに補間処理済みの画素に対しては何も行わない。以
下同様にして、最終の優先順位の対応点まで処理を行
う。

【００３１】（Ｂ４）：（Ｂ１）〜（Ｂ３）の処理を終
えても補間されなかった画素に対しては、周囲の画素か
ら内挿を行う。この時の方法としては、周囲の画素値の
平均値を用いる方法や最近傍の画素値の値をそのまま用
いる方法などがある。 （Ｂ５）：ｊ＝１〜ｎｙについて、（Ｂ１）〜（Ｂ４）
の処理を行い、ｊ２、ｊ３、ｊ５、ｊ６、ｊ８、ｊ９を
用いて補間画像を得る。ただし、図８に示すように、Ｂ
１〜Ｂ４の処理により内挿されたラインをｊ２、ｊ３、
ｊ５、ｊ６、ｊ８、ｊ９と表すことにする。 例えば、補間画像２は内挿ラインｊ２（ｊ＝１〜ｎｙ）
を並べることによって構成できる（図１０参照）、補間
画像３、５、６、８、９に関しても同様である。

【００３２】以上述べた構成及び方法を用いて多数枚の
入力画像から補間画像を生成することにより、２枚の画
像からでは求めることができなかった対応点を検出する
ことができるので、補間の精度が向上する。対応点探索
の際においても、撮影パラメータを用いた探索パラメー
タを自動的に決定できるため、探索処理の高速化が可能
となる。また、多数枚の画像から対応点を求めるので、
前述のようにオクルージョンの問題が解決できる。ま
た、検出した直線数を利用した補間方法によって、撮影
した物体の前後配置が逆転する問題も解決できる。さら
に、物理的表色系と知覚的表色系とを併用した対応点探
索方法によって、撮影位置による同一点の色の変化の問
題も解決できる。

【００３３】また、本実施例では上下方向の視差を省略
した場合について説明したが、平面上で格子状の粗い視
点間隔の撮影位置から撮影した多視点画像を保持して混
合し、左右方向にこれらの多視点画像を視点間補間し、
次に上下方向に視点間補間することにより、上下方向の
視差も考慮した画像が生成される。

【００３４】（第２実施例）次に、本発明の第２の実施
例による画像処理装置における対応点探索処理におい
て、さらに高速化を行う方法を示す。本実施例は、第１
の実施例の対応点探索処理のように、直線探索をエピポ
ーラプレーンイメージの第１ラインから最終ラインに向
かって探索するだけではなく、最終ラインから第１ライ
ンに向かって探索を行うものである。その際の探索パラ
メータである探索範囲、探索刻み、直線の傾きは、それ
ぞれパラメータの符号を反転させれば、そのまま直線探
索が可能となる。

【００３５】（第３実施例）次に、画像処理装置を利用
者が頭の位置を前後に変えて視点を上下前後左右に移動
させた場合、観察者の視点位置を検出し、観察者から見
える画像を再構成することによって、観察者が視点を上
下前後左右にスムーズに移動した場合にも対応できるよ
うにした本発明の第３の実施例による画像処理装置につ
いて説明する。なお、ここでは説明を判りやすくするた
めに上下方向の視差を省略した場合について説明する。
図１１は第３の実施例による画像表示装置の構成を示す
ブロック図である。図１１において、１は固定して設置
される画像表示用のスクリーン、２は表示スクリーン１
を眺める利用者の目の位置を検出する視点検出器、３は
平面上に並んだ粗い視点間隔から表示する対象物を撮影
した多視点画像を保持している多視点画像データベース
である。

【００３６】４は表示スクリーン１に関するパラメータ
を保持する表示パラメータ保持部、５は多視点画像デー
タベース３の多視点画像を撮影した際の視点並びの平面
を表す座標系を保持している撮影視点座標系保持部、６
は多視点画像データベース３の視点間補間された画像も
含む多視点画像の多視点画像の画像パラメータを保持し
ている多視点画像パラメータ保持部である。７は視点検
出器２からの信号をもとに視点パラメータを算出する視
点パラメータ算出部、８は視点の移動に対応した画像を
生成する画像生成部である。

【００３７】９は注目する画素を示す画素インデックス
信号、１０は視点パラメータと表示パラメータとから、
画素インデックス信号９の示す画素に対応する視線方向
を算出する視線パラメータ算出部、１１は視線パラメー
タの表す視線と、撮影視点座標系が表す撮影視点並びの
平面との交点（仮想視点）を算出する仮想視点パラメー
タ算出部、１２は視線パラメータ、撮影視点座標系、仮
想視点パラメータおよび多視点画像パラメータから、仮
想視点における画像の視線方向に対応する画素位置を算
出する画素位置算出部、１３は画素位置と仮想視点パラ
メータをもとに、多視点画像データベース３の視点間補
間された画像も含む多視点画像から、対応する画素値を
算出する画素値算出部である。

【００３８】１４は表示スクリーン１へ画像を表示する
画像表示部、１５は視点パラメータが更新されたことを
示す更新信号、１６は画素値を表す画素値信号である。
１７は第１の実施例で用いられた粗い視点間隔から撮影
された多視点画像から十分細かい視点間間隔の多視点画
像を生成する視点間補間処理部、１８は９〜１０、１７
で構成される画素値生成部である。

【００３９】次に、動作の概略を述べる。表示スクリー
ン１を眺める利用者が頭の位置を変えて視点を移動させ
ると、視点検出器２の信号が変化し、視点パラメータ算
出部７はこの変化を受けて、更新信号１５を画像生成部
８へ送る。画像生成部８は更新信号１５を受けると、視
点移動に対応した新たな画像の生成を開始する。画像生
成部８はすべての画素について画素インデックス信号９
に対応した画素値信号１６を画素値生成部１８より得
る。画素生成部１８では、表示パラメータ保持部４から
表示パラメータをそれぞれ取得し、画素インデックス信
号９に対応する視線パラメータを算出する。

【００４０】次に仮想視点パラメータ算出部１１は、撮
影視点座標系保持部５から撮影視点座標系を取得し、視
線パラメータの表す視線と、撮影視点座標系が表す撮影
視点並びの平面との交点（仮想視点）を表す仮想視点パ
ラメータを算出する。一方、画素位置算出部１２は、多
視点画像パラメータ保持部６から多視点画像パラメータ
を取得し、その他、視線パラメータ、撮影視点座標系、
仮想視点パラメータから仮想視点位置における画像の視
線方向に対応する画素位置を算出する。

【００４１】画素値算出部１３は画素位置と仮想視点パ
ラメータをもとに、多視点画像データベース３およびそ
れらより視点間補間処理部１７で生成された視点間補間
画像から、対応する画素値信号１６を算出する。画像生
成部８はすべての画素について、画素値信号１６を画素
値算出部１３から得ると、これを画像表示部１４へ送
る。画像表示部１４はこのようにして生成された新しい
視点に対応した画像を表示スクリーン１へ表示する。

【００４２】この結果、利用者は多視点画像データベー
ス３に保持されている画像を撮影した視点位置以外の、
前後上下左右に視点を移動しても、その視点移動に合わ
せた対象物の画像を表示スクリーン１を通して眺めるこ
とができる。

【００４３】次に、各部の処理を詳しく説明する。ま
ず、図１２、図１３を用いて、視線パラメータ算出部１
０の処理を説明する。図１２は視線パラメータ算出部１
０の算出原理を示す図である。１は表示スクリーン、Ｘ
ｓは表示スクリーン１の端点（位置ベクトルＸｓ）、ｐ
は長さが表示スクリーン１のピクセルピッチで、傾きが
表示スクリーン１の傾きに一致するベクトル（表示スク
リーンベクトルｐ）、Ｘｐは表示スクリーン１上の注目
する画素位置（位置ベクトルＸｐ）、Ｘｖは利用者の視
点位置（位置ベクトルＸｖ）、３５は注目する画素位置
Ｘｐに対応する視線、ａは視線３５の傾きを表す視線ベ
クトルである。

【００４４】図１３は視線パラメータ算出部１０の処理
を示すフローチャートである。まず、ステップＳ４１で
視点パラメータ算出部７から視点パラメータを取得す
る。ここで、視点パラメータは図１２の利用者の視点位
置Ｘｖである。次にステップＳ４２で表示パラメータ保
持部４から表示パラメータを取得する。ここで表示パラ
メータとは、表示スクリーン１の端点Ｘｓ、表示スクリ
ーンベクトルｐである。表示スクリーンベクトルｐは、
表示スクリーン１の傾き、実サイズおよびピクセルサイ
ズから決定する。次にステップＳ４３で、図１２に示す
幾何学に従い、画素インデクス信号９に対応する表示ス
クリーン１上の注目する画素位置Ｘｐを次の（５）式に
より算出する。ただし、画素インデクス信号９をｉとす
る。 Ｘｐ＝Ｘｓ＋ｉ・ｐ ………（５）

【００４５】次にステップＳ４４で視点位置Ｘｖから眺
めた場合の画素位置Ｘｐの方向に対応する視線パラメー
タを求める。視線パラメータは、視点位置Ｘｖと視線ベ
クトルａとの組み（Ｘｖ，ａ）とする。視線３５は図１
２に示す幾何学に従い、画素位置Ｘｐおよび視点位置Ｘ
ｖの２点を通る直線であり、視線ベクトルａは次の
（６）式で算出する。 ａ＝Ｘｐ−Ｘｖ ………（６）

【００４６】次に、図１４を用いて仮想視点パラメータ
算出部１１および画素位置算出部１２の処理を説明す
る。図１４は仮想視点パラメータ算出部１１および画素
位置算出部１２の算出原理を示す図である。３５は視
線、３６は多視点画像データベース３の多視点画像を撮
影した際の視点並びの平面の断面の視点並び直線、Ｘは
視線３５と、視点並び直線３６との交点（仮想視点位置
ベクトルＸ）、Ｔは視点並び直線３６の傾きを表すベク
トル（視点並びベクトルＴ）、Ｘｌは視点並び直線の端
点（位置ベクトルＸｌ）である。３７は仮想視点Ｘにお
ける画角Ｘｌの視野、ｆはその長さが多視点画像を撮影
したカメラの視点距離、その傾きがカメラの傾きである
ようなベクトル（焦点ベクトルｆ）、ｐ′は仮想視点Ｘ
における仮想的な撮像面、Ｘｐ′は仮想的な撮像面ｐ′
と視線３５との交点である画素位置（位置ベクトルＸ
ｐ′）、３８は長さが仮想的な撮像面ｐ′のピクセルピ
ッチで、傾きが仮想的な撮像面ｐ′の傾き（通常は焦点
ベクトルｆに直角）に一致するベクトル（撮像面ベクト
ルｐ′）である。

【００４７】視点並びベクトルＴおよび視点並び直線の
端点Ｘｌは撮影視点座標系を表す値として、撮影視点座
標系保持部５に保持されている。また、焦点ベクトルｆ
および撮像面ベクトル３８（ｐ′）は、多視点画像パラ
メータとして多視点画像パラメータ保持部６に保持され
ている。焦点ベクトルｆは、多視点画像を撮影したカメ
ラの焦点距離および傾きから決定される。撮像面ベクト
ル３８は、焦点ベクトルｆに直行し、大きさが撮像面
ｐ′のセルサイズ（１ピクセルの大きさ）に等しいベク
トルである。

【００４８】次に、仮想視点パラメータ算出部１１の処
理を説明する。図１４において、仮想視点Ｘは次の
（７）、（８）式で表される。 Ｘ＝Ｘｌ＋ｔ・Ｔ ………（７） Ｘ＝Ｘｖ＋α・ａ ………（８） ここで仮想視点を一意に表パラメータとしてｔを仮想視
点パラメータとする。αは視線方向の系数である。
（７）、（８）式を解くことによりｔを算出し、Ｘを算
出する。

【００４９】次に、画素位置算出部１２の処理を説明す
る。図１４において、画素位置Ｘｐ′は次の（９）、
（１０）式で表される。 Ｘｐ′＝Ｘ＋ｆ＋ｉ′・ｐ′ ………（９） Ｘｐ′＝Ｘ＋β・ａ ………（１０） ここで、画素位置Ｘｐ′を一意に表すパラメータとして
ｉ′を画素位置パラメータとする。βは視線方向の係数
である。（９）、（１０）式を解くことによりｉ′を算
出し、これを画素位置算出部１２の出力とする。

【００５０】次に、画素値算出部１３の処理について説
明する。本実施例では、多視点画像データベース３に保
持されている多視点画像は、粗い視点間隔で撮影した画
像であり、それを視点間保管処理部１７で処理すること
により十分細かい視点間補間画像が得られる。そこで、
まず、仮想視点パラメータ算出部１１で算出された仮想
視点パラメータの示す仮想視点Ｘからの画像の近似画像
として、仮想視点Ｘに一番近い視点から撮影された画像
を、多視点画像データベース３から視点間補間処理部１
７で補間画像を生成する。次に、この画像のうち、画素
位置算出部１２で算出された画素位置Ｘｐ′に最も近い
位置の画素の値を取得し、これを出力の画素値信号１６
とする。

【００５１】以上、説明を判りやすくするため、上下方
向の視差を省略した場合についての各部の処理を説明し
たが、上下方向の多視点画像を用意すれば同様の方法
で、上下方向の視差を考慮に入れた、前後上下左右に視
点移動可能な両眼立体表示装置となる。

【００５２】なお、表示スクリーン１および画像表示部
８に、レンチキュラー方式やメガネ方式等の両眼立体視
が可能な立体表示スクリーン及び立体画像表示部を用
い、かつ、視点パラメータ算出部７が左右各々の目の位
置に対応する視点パラメータを算出し、これに対応して
画像生成部８が左右各々の目に提示するための画像を生
成することにより、前後上下左右に視点移動可能な両眼
立体表示装置となる。

【００５３】（第４実施例）次に、第３実施例における
表示スクリーン１が利用者の頭部に固定される形の、い
わゆるヘッド・マウンテッド・ディスプレイ（ＨＭＤ）
タイプの画像表示装置に適用した第４の実施例について
説明する。本実施例の構成は、第３の実施例の構成のう
ち、視線パラメータ算出部１０の処理内容だけを以下に
説明する処理に置き換えた形となる。ここでは上下方向
の視差を省略した場合について述べる。

【００５４】図１５は本実施例における視線パラメータ
算出部１０の算出原理を示す図であり、１、３５、Ｘ
ｐ、Ｘｖ、ａは図２と対応している。Ｆは視点位置Ｘｖ
から表示スクリーン１の中央点へのベクトル（正面ベク
トルｐ）である。

【００５５】次に、図１５を用いて、視線パラメータ算
出部１０の処理を説明する。ＨＭＤタイプの表示装置で
は、視点検出器２は、利用者の視点Ｘｖ位置に加えて、
正面方向の傾き、すなわち正面ベクトルＦの傾きを検出
する。表示スクリーンベクトルｐの傾きは正面ベクトル
Ｆの傾きから決定される（通常は直角）。一方、視点位
置Ｘｖから表示スクリーン１までの距離、すなわち正面
ベクトルＦの長さ、およびピクセルピッチ、すなわち表
示スクリーンベクトルｐの長さは、ＨＭＤの形状によっ
て決定される固定した値であり、この値は表示パラメー
タ保持部４に保持される。

【００５６】図１５において、注目する画素位置Ｘｐお
よび視線ベクトルａを次の（１１）（１２）式で算出す
る。ただし、画素インデックス９をｉとする。 Ｘｐ＝Ｘｖ＋Ｆ＋ｉ・ｐ ………（１１） ａ＝Ｘｐ−Ｘｖ ………（１２）

【００５７】以上の構成により、ＨＭＤタイプの表示装
置で多視点画像を任意の視点移動表示できる画像表示装
置となる。また、表示スクリーン１が頭部に固定されて
いなくても、固定して設置された表示スクリーン１と利
用者の視点位置Ｘｖの相対的位置関係が固定であるよう
なコックピットタイプの表示装置を用いても、本実施例
と同じ視線パラメータ算出部１０の処理により任意の視
点移動を表示できる画像表示装置となる。その場合は視
点検出器２の代わりに、基準座標における視点位置Ｘｖ
をハンドル等で操作する視点位置入力装置を用いる。

【００５８】（他の実施例）以上の第１〜４の実施例で
は、予め撮影された多視点画像とそれから視点間補間を
行った画像とが多視点画像データベース３に保持されて
いる構成としたが、これを、多視点画像を実時間で取り
込むことのできる多眼テレビカメラに置き換えることに
より、実時間の任意視点画像撮影・表示システムとな
る。なお、本発明は単体の画像処理装置に適用しても良
いし、多視点テレビ、多視点テレビ電話端末や多視点テ
レビ会議システムのようなシステム機器に適用してもよ
い。また、コンピュータや他の画像処理装置と組み合わ
せた複合装置にも適用できる。

【００５９】図１６は表示スクリーン１や画像表示部８
に用いられるレンチキュラー方式によるスクリーンの一
例を示す。図示のように液晶表示部４０の前面にレンチ
キュラーシート４１を配した構成となっている。

【００６０】

【発明の効果】以上説明したように本発明によれば、従
来のように物体の前後関係が逆転してしまうような場
合、及び撮影位置により同一点の色が変化してしまうよ
うな場合においても、精度よく補間画像を生成すること
ができる。また、対応点探索パラメータを自動的に決定
することによって、補間処理の高速化が可能となる。ま
た、補間処理により求めた多数の画像あるいは十分細か
く視点を移動して撮影した多視点画像を用いて前後方向
の視点移動に対応した画像を再構成することにより、従
来は対応できなかった前後方向への視点移動が可能とな
る。

【図面の簡単な説明】

【図１】本発明の第１の実施例を示すブロック図であ
る。

【図２】第１の実施例の処理の流れを示すフローチャー
トである。

【図３】図２のステップＳ２２の撮影パラメータから対
応点探索範囲の算出原理を示す構成図である。

【図４】ステップＳ２３の対応点探索処理の流れを示す
フローチャートである。

【図５】ｊ番目のエピポーラプレーンイメージを示す構
成図である。

【図６】スペキュラー成分を含む対応点の色彩分布を示
す特性図である。

【図７】ステップＳ２４の直線検出の流れを示すフロー
チャートである。

【図８】補間処理アルゴリズムを説明するための構成図
である。

【図９】補間処理アルゴリズムを説明するための構成図
である。

【図１０】補間処理アルゴリズムを説明するための構成
図である。

【図１１】本発明の第２の実施例を示すブロック図であ
る。

【図１２】第２の実施例の視線パラメータ算出部１０の
算出原理を示す構成図である。

【図１３】視線パラメータ算出部１０の処理を示すフロ
ーチャートである。

【図１４】仮想視点パラメータ算出部１１および画素位
置算出部１２の算出原理を示す構成図である。

【図１５】本発明の第３の実施例における視線パラメー
タ算出部１０の算出原理を示す構成図である。

【図１６】レンチキュラー方式によるスクリーンの実施
例を示す斜視図である。

【図１７】従来のエピポーラプレーンイメージを用いた
視点間補間処理の流れを示す説明図である。

【符号の説明】

２ 視点検出器 ３ 多視点画像データベース ５ 撮像視点座標系保持部 ６ 多視点画像パラメータ保持部 ７ 視点パラメータ算出部 ８ 画像生成部 １８ 画素値生成部 ２０〜２３ カメラ ２４ 入力ポート ２５ ＣＰＵ

───────────────────────────────────────────────────── フロントページの続き (72)発明者 田中 宏一良 東京都大田区下丸子３丁目30番２号 キヤ ノン株式会社内

Claims (12)

【特許請求の範囲】
1. 【請求項１】 複数の視点位置から撮影した画像を入力
   する画像入力ステップと、 物理的表色系と知覚的表色系とを用いて上記入力画像間
   の対応点を検出する対応点検出ステップと、 上記入力画像を用いてこの入力画像の視点位置とは異な
   る視点位置での画像を生成する画像補間ステップとを備
   えた画像処理方法。
2. 【請求項２】 複数の視点位置から撮影した画像を入力
   する画像入力手段と、 物理的表色系と知覚的表色系とを用いて上記入力画像間
   の対応点を検出する対応点検出手段と、 上記入力画像を用いてこの入力画像の視点とは異なる視
   点位置での画像を生成する画像補間手段とを備えた画像
   処理装置。
3. 【請求項３】 上記画像入力手段は、複数台の撮像装置
   からの画像が入力可能であることを特徴とする請求項２
   記載の画像処理装置。
4. 【請求項４】 上記画像入力手段は、画像データベース
   からの画像が入力可能であることを特徴とする請求項２
   記載の画像処理装置。
5. 【請求項５】 上記入力画像間の対応点をエピポーラプ
   レーンイメージ上で直線検出することにより求めること
   を特徴とする請求項２記載の画像処理装置。
6. 【請求項６】 上記エピポーラプレーンイメージ上で検
   出する直線の傾きを少数精度で求めることを特徴とする
   請求項５記載の画像処理装置。
7. 【請求項７】 上記直線検出の際に、撮影時のパラメー
   タを用いて検出パラメータを自動的に決定することを特
   徴とする請求項５又は６記載の画像処理装置。
8. 【請求項８】 上記直線検出を逆方向からも検索するこ
   とを特徴とする請求項５、６又は７記載の画像処理装
   置。
9. 【請求項９】 検出された直線数を利用して対応点探索
   を行うことを特徴とする請求項５、６、７又は８記載の
   画像処理装置。
10. 【請求項１０】 上記画像補間手段による画像の補間を
    上記入力画像の各エピポーラプレーンイメージ毎に行う
    ことを特徴とする請求項２記載の画像処理装置。
11. 【請求項１１】 観察者の目の位置を検出する視点検出
    手段と、検出された視点位置から見える画像を入力画像
    データと補間画像データとから再構成する画像再構成手
    段と、再構成された画像を出力する画像出力手段とを備
    えることを特徴とする請求項２記載の画像処理装置。
12. 【請求項１２】 上記画像再構成手段は、上記観察者の
    視点位置および上記画像出力手段の種類により画像の再
    構成に必要なパラメータを計算し、そのパラメータを用
    いて再構成画像の各画素が入力された多視点画像のどの
    画素に対応するかを計算し、対応する画素を多視点画像
    から抽出して画像を再構成することを特徴とする請求項
    １１記載の画像処理装置。