JPH08147497A

JPH08147497A - 画像処理方法及びその装置

Info

Publication number: JPH08147497A
Application number: JP6291483A
Authority: JP
Inventors: Eita Ono; 英太小野; Akihiro Katayama; 昭宏片山; Kouichirou Tanaka; 宏一良田中; Shinya Urisaka; 真也瓜阪
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1994-11-25
Filing date: 1994-11-25
Publication date: 1996-06-07

Abstract

(57)【要約】【目的】補間画像を精度よく生成する画像処理方法お
よびその装置を得る。【構成】ステップＳ２１では複数カメラからの多視点
画像データの幾何的、感度ムラ等の補正処理を行い、ス
テップＳ２２、Ｓ２３では多視点画像データをＥＰＩに
分解し撮影パラメータを用いてＥＰＩ上で直線の幅を変
化しながら検出することにより対応点を求める。この対
応点を用いてステップＳ２４で異なった位置から撮影し
た場合に得られるはずの画像を生成し、ステップＳ２５
で生成された画像を表示スクリーンに表示する。【効果】カメラの視点からでは得られない画像を画像
の歪みなく精度よく補間生成することができる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明はカメラ等の複数の撮像手
段から得られた複数の画像を補間処理することにより各
撮像手段の各視点とは異なった視点の画像を生成するた
めの画像処理装置及びその方法に関するものである。

【０００２】

【従来の技術】従来、複数の視点位置から撮影した複数
の画像をもとに、撮影した各位置とは異なった位置から
撮影した画像を生成する手法としてエピポーラプレーン
イメージ（以下ＥＰＩと略す）を用いる方法がある。こ
の方法は、図１６に示すように、各画像中の同じ位置に
あるラインを抽出して１つの画像に合成し、このＥＰＩ
上で直線検出を行い、内挿ラインを求める補間処理を行
うことにより、注目点に対応する点（対応点）を求め、
この対応点から撮影した位置とは異なる位置から撮影し
た場合に得られる画像を生成するというものである。

【０００３】

【発明が解決しようとする課題】しかしながら、上記従
来例では離散データであるＥＰＩ上で直線を形成する点
列を対応点と見なすようにしているため、例えばＥＰＩ
上で同一色の直線が等間隔で現れて縞模様になる場合や
一様な領域に細い線がある場合などには、対応点でない
点列をも誤って直線として検出してしまうことがあっ
た。このため、誤った対応点を含む情報を基にして画像
を再構成することになり、前後の位置関係が逆になった
画像や模様がつぶれたような画像などの歪んだ画像が合
成されるという問題点があった。

【０００４】本発明は上記のような問題を解決するため
になされたもので、補間画像を精度よく生成することの
できる画像処理装置及びその方法を提供することを目的
としている。

【０００５】

【課題を解決するための手段】請求項１の発明による画
像処理方法においては、複数の視点位置から撮影した画
像を入力する画像入力ステップと、上記入力画像を用い
て構成されるエピポーラプレーンイメージ上で幅を持つ
直線を検出する直線検出ステップと、上記検出された直
線から上記入力画像間の対応点を検出する対応点検出ス
テップと、上記検出された対応点を用いて上記入力画像
の視点とは異なる視点からの画像を生成する画像補間ス
テップとを設けている。

【０００６】請求項１０の発明による画像処理装置にお
いては、複数の視点位置から撮影した画像を入力する画
像入力手段と、上記入力画像を用いて構成されるエピポ
ーラプレーンイメージ上で幅を持つ直線を検出する直線
検出手段と、上記検出された直線を用いて上記入力画像
間の対応点を検出する対応点検出手段と、上記検出され
た対応点を用いて上記入力画像の視点とは異なった視点
からの画像を生成する画像補間手段とを設けている。

【０００７】

【作用】請求項１、１０の発明によれば、複数の位置か
ら撮影した画像を入力し、入力された多視点画像データ
をＥＰＩに分解し、このＥＰＩ上で直線の幅を変化しな
がら直線を検出し、この直線から画像間の対応点を検出
し、この検出された対応点を用いて異なった位置から撮
影した場合に得られるはずの画像を生成する。尚、幅を
持った直線とは同じ傾きの直線が並んでいる状態でそれ
ら複数の直線をまとめたものとする。

【０００８】

【実施例】以下、本発明の実施例について図面を参照し
て説明する。（第１の実施例）図１は画像入力部にカメラを４台用い
た場合の本発明の画像処理装置の実施例である。２０〜
２３はカメラ等の画像入力部、２４は入力ポート、２５
はＣＰＵ、２６はＲＡＭ、２７はＲＯＭ、２８はディス
クＩ／Ｏポート、２９はハードディスク、３０はＶＲＡ
Ｍ、３１はビデオ信号出力用Ｉ／Ｆ、３２はレンチキュ
ラーディスプレイである。尚、ここでは４台のカメラを
用いて説明しているが、カメラの台数はこれらに限らず
何台でもよい。

【０００９】図２は、第１の実施例の処理の流れを示す
フローチャートである。カメラ等の画像入力部２０〜２
３から入力された原画像は、まずステップＳ２１におい
て、レンズの色収差や歪、光軸のズレ、カメラの姿勢・
位置等の幾何学的な補正処理及びＣＣＤセンサの感度ム
ラ等の補正処理が行われる。この処理は、あらかじめキ
ャリブレーションしてその補正データをＲＯＭ２７やＲ
ＡＭ２６の中に記録しておけば、テーブル参照の形で高
速に補正処理が行える。また、この補正用データを画像
入力前に毎回求めれば正確な補正が可能となる。

【００１０】次に、この補正処理が済むとステップＳ２
２に移り、撮影パラメータから後述する対応点探索を行
う範囲を決定する。その結果を用いてステップＳ２３に
移り、各画像間の対応点検索を行う。対応点探索が終了
すると次にステップＳ２４に移り、画像の補間処理を行
ったのち、ステップＳ２５でレンチキュラーディスプレ
イ３２に補正済の入力画像と補間された画像とを表示す
る。

【００１１】次に、各部の処理を詳しく説明する。ま
ず、図３を用いて、対応点探索範囲の算出処理を説明す
る。図３は対応点探索範囲の算出原理を示す図である。
図３においてＳ１０１が撮影したい空間の一番後方の
面、Ｓ１０２が撮影空間Ω、Ｓ１０３が撮影したい空間
の一番前方の面、Ｓ１０４が撮影したい空間の一番後ろ
の面までの距離（Ｌｅ）、Ｓ１０５が撮影したい空間の
一番前方の面までの距離（Ｌｆ）、Ｓ１０６は撮影位置
Ｐ１（Ｓ１０８）から撮像面へ垂線とその位置から距離
ｄ（Ｓ１０９）だけはなれた撮影位置Ｐ２（Ｓ１１０）
から撮影空間Ωの一番前方の面にある撮影物体ａ（Ｓ１
１２）までを結んだ直線との角度α、Ｓ１０７は同様に
撮影空間Ωの一番後ろの面Ｓ１０１にある撮影物体ｂ
（Ｓ１１３）まで結んだ直線と視点位置Ｐ１からの垂線
との角度β、Ｓ１１１は焦点距離ｆ、ａ’（Ｓ１１
４）、ｂ’（Ｓ１１５）は物体ａ（Ｓ１１２）、ｂ（Ｓ
１１３）の撮像面での位置を表す。この図３の幾何に従
い、対応点探索範囲である画像面中のａ’とｂ’との距
離を求める。

【００１２】まず、撮影位置Ｐ１（Ｓ１０８）とＰ２
（Ｓ１１０）において、撮影空間Ωの一番前方の物体で
あるａ（Ｓ１１２）のそれぞれの撮像面での移動距離ｄ
１を求める。これは図３から次式で求められる。なお、
撮像面での主走査方向の大きさをｎｘであらわす。ｄ１＝ｎｘ／（２ｔａｎα）＝ｎｘ／（２（ｄ／Ｌｆ）） ………（１）同様に、撮影空間Ωの一番後方の物体ｂ（Ｓ１１３）が
視点位置Ｐ１（Ｓ１０８）とＰ２（Ｓ１１０）におい
て、それぞれの撮像面での移動距離ｄ２を求める。ｄ２＝ｎｘ／（２ｔａｎβ）＝ｎｘ／（２（ｄ／Ｌｅ）） ………（２）これらより、対応点探索としての直線探索の傾きの範囲
はｄ１〜ｄ２で変化させればよいことになる。また、探
索刻みｓはそのカメラ台数Ｎから次式で求めることがで
きる。ｓ＝１／Ｎ ………（３）

【００１３】次に、求められた対応点探索パラメータを
用いた対応点探索処理を図４を用いて説明する。図４
は、前述したステップＳ２３の対応点探索処理のフロー
チャートである。ステップＳ３１において初期設定とし
て注目ラスタを各画像の第１ラスタにセットする。次に
ステップＳ３２において各画像の注目ラスタをワークメ
モリに読み込み、仮想的にｊ番目のエピポーラプレーン
イメージ（ＥＰＩ）を構成する。ここで言うｊ番目のＥ
ＰＩとは図５に示すように画像平面上の各点ＥＰｊ
（ｘ，ｉ）がＥＰｊ（ｘ，ｉ）＝Ｎｉ（ｘ，ｊ） ………（４）を満たすような点ＥＰｊ（ｘ，ｉ）の集合のことであ
る。ただし、Ｎｉ（ｘ，ｊ）はｉ番目の画像（ここで
は、ｉ＝１〜４）のｊラスタ目におけるｘ番目の画素
値、即ちｉ番目の画像において座標が（ｘ，ｊ）で表さ
れる画素の値を表している。

【００１４】カメラ等の画像入力部が等間隔で平行に設
置されている場合、このＥＰＩ上では、対応する点は全
て直線上に並んで存在する。従って、対応点の検出はス
テップＳ３３によりＥＰＩ上の直線を検出することによ
って行うことができる。また、画像の補間は検出された
直線上で行えばよいことになる。そこで、ステップＳ３
４において得られた直線から対応点を計算し、記憶す
る。ただし、検出される直線が画質に直接影響を与える
ため、このステップＳ２３の対応点探索処理はより正し
い対応点を優先的に検出する。ここでは幅のある直線と
は同一の傾きを持つ直線の並びと定義し、幅のある直線
検出とは複数の直線並びが作る平行四辺形領域で各直線
が直線判定条件を満たすか領域を検出することである。
例えば４本の直線が並んでいる場合は幅４の直線とな
る。また、幅の広い直線ほど正確な対応点である可能性
が高いものとし、優先的に対応点として検出する。例え
ば幅４の直線と幅２の直線では幅４の直線検出で検出し
た対応関係を優先する。

【００１５】具体的なアルゴリズムを図６のフローチャ
ートを用いて示す。ステップＳ５０では探索直線幅Ｗ＝
ｈに設定する。探索直線幅の初期値はあまり大きすぎる
と計算時間ばかりかかるので、ｈ＝８ぐらいで十分であ
ろう。次にステップＳ５１で優先順位ｎ＝１、注目画素
のラインｒ＝１に設定する。ステップＳ５２でＥＰｊ
（ｘ，ｒ）を注目画素としｍ＝ｋ１〜ｋ２、ｘ＝１〜ｎ
ｘの範囲内で、

【００１６】

【数１】

【００１７】を満足するｍを全て求め、検出された直線
数をＬとしてメモリ記憶する。ただし、ｍは前記ステッ
プＳ２２で求めた探索刻みｓで変化させるため、実数値
も取り得る。

【００１８】そこで、上式においてｘ＋ｗ＋ｍ×（ｉ−
１）の部分の値は四捨五入して対応するｘ座標を決定す
る。ＴＨ２は対応点を見つけるための閾値で、このＴＨ
２は１２００×Ｗでよい。１２００×Ｗの意味合いは、
４ラインのＥＰＩなので差分を３回計算することにな
り、それぞれの差分値が２０以下くらいであれば、ほぼ
同じ色であるという仮定のもとに３×２０²＝１２０
０、これに平行四辺形の幅Ｗを掛けて１２００×Ｗとな
る。これは、画素値がＲＧＢそれぞれに対して行う場合
だが、それだけでなく、ＹＩＱあるいはＨＳＩ等さまざ
まな表色系に一度変換した場合にも対応でき、それぞれ
に適した閾値を設定して用いることも可能である。

【００１９】また、ｋ１、ｋ２はステップＳ２２でもと
めたパラメータｄ１、ｄ２それぞれを用いる。また、Ｅ
Ｐｊ（ｘ＋ｗ＋ｍ×（ｉ−１），ｉ）が存在しない場
合、注目点ＥＰｊ（ｘ，ｒ）とＥＰｊ（ｘ＋ｍ×（ｉ−
２），ｒ−１）の間で直線判定の条件を満たすか否かを
調べ、条件を満たしていれば平行四辺形領域を検出し、
満たしていない時は、この傾きｍにおける対応点は存在
しないとして処理を続ける。

【００２０】次にステップＳ５３において、ステップ５
１、５２により求まった傾きｍの直線から優先順位ｎの
対応点を求め、探索直線幅ｈ、直線の色（幅ｈで検出さ
れた場合はｈ種類の色の列）をメモリに記憶する。ステ
ップＳ５２、Ｓ５３を１サイクルとして、処理済みでな
い画素に対してステップＳ５４における未処理の画素が
減らなくなるまで上記のサイクルを繰り返す。その際、
ステップＳ５５において優先順位ｎに１を加える。ただ
し、ステップＳ５５においてＥＰｊ（ｘ＋ｍ×（ｉ−
ｒ），ｉ）が処理済みの場合は、ＥＰｊ（ｘ＋ｍ×（ｉ
−ｒ），ｉ）−ＥＰｊ（ｘ，ｒ）＝０として処理を続け
る。

【００２１】ステップＳ５２〜Ｓ５４の処理を行っても
未処理の画素が減らなくなったならば、ステップＳ５７
に移り注目ラインに１を加え、ＥＰｊ（ｘ，ｒ＋１）を
注目画素としてステップＳ５２〜Ｓ５５と同様の処理を
行う。ただし、ｘ＝１〜ｎｘとする。ステップＳ５６で
最終ラインまで処理が済んだならば、ステップＳ５９で
探索直線幅をΔＷだけ狭くした後、ステップＳ５１〜Ｓ
５７の処理を行う。そしてステップＳ５８で探索直線幅
が１より小さくなったら対応点探索処理を終える。次に
図４のステップＳ３５でラスタｊの値に１加え、Ａ１．
〜Ａ７．の処理を同様に行う。そしてステップＳ３６で
最終ラスタまで処理が済んだならば、対応点探索を終了
する。

【００２２】上記のように処理を行うことにより、２枚
の画像からでは求まらなかった対応点が検出でき、ま
た、オクルージョン等にも対応できるので、対応点探索
の精度が向上する。また、幅を持つ直線ほど優先的に検
出することで誤った対応点の検出頻度を減らせる。さら
に、同色の平行四辺形領域については従来の幅１の直線
検出方式では各注目点毎に数本の直線が検出され計算時
間が余分にかかっていたが、本手法では１つの注目点に
対する探索で検出でき、計算時間の短縮と直線データを
記録するメモリ領域の節約にもなる。

【００２３】次に図２のステップＳ２４に移り、画像の
補間処理を行う。画像の補間処理はステップＳ２３によ
り求まった対応点を用いて行う。具体的なアルゴリズム
を図７を例にして説明する。図７は、ｊ番目のＥＰＩを
表している。ａ、ｂ、ｃは各画素値を表す。太線で囲ん
だ領域は幅５の平行四辺形領域として検出された部分を
表し、太点線で囲まれた領域は幅３の平行四辺形領域と
して検出された部分を表している。入力画像間に等間隔
にｎ枚の画像を補間する場合を考える。ここでは説明を
簡単にするため、ｎ＝２とする。このことをｊ番目のＥ
ＰＩで考えた場合、図８に示すようにＥＰＩのライン間
に２本ずつラインを内挿し、原画の対応同士を結んだ直
線上にある内挿されたラインの画素値は直線上の対応点
の平均値を設定すればよい。このために次のＢ１〜Ｂ４
の処理が行われる。

【００２４】Ｂ１．優先順位１の対応点を結んだ直線を
考え、この直線上にある内挿ラインの画素値を直線上に
ある原画の画素値の平均値にセットする。ただし、幅を
持った直線（平行四辺形領域）として検出されている場
合、複数の直線をまとめて扱うことになる。つまり図７
の幅５の平行四辺形領域については“ｃｃｃａａ”とい
う５つの直線が平行に並んでいる、もしくは５画素の幅
を持つ直線と見なす。従って平行四辺形領域の内挿は図
８に示すように内挿ラインと平行四辺形とが交差した部
分を平行四辺形領域を構成する直線の平均値列（ここで
はｃｃｃａａ）で埋める。Ｂ２．優先順位１の対応点処理が終ったら、次に優先順
位２の対応点の処理を行う。この処理は、基本的にはＢ
１．の処理と同じであるがＢ１．においてすでに補間さ
れた画素に対しては処理を行わない。

【００２５】Ｂ３．優先順位２の対応点処理が終ったな
らば、次に優先順位３の対応点処理に入る。Ｂ２と同様
にすでに補間処理済みの画素に対しては、何も行わな
い。以下同様にして、最終の優先順位の対応点まで処理
を行う。Ｂ４．Ｂ１．〜Ｂ３の処理を終えても補間されなかった
画素に対しては、周囲の画素から内挿を行う。この時の
方法としては周囲の画素値の平均値を用いる方法や最近
傍の画素値の値をそのまま用いる方法などがある。Ｂ５．ｊ＝１〜ｎｙについて、Ｂ１．〜Ｂ４．の処理を
行い、ｊ２、ｊ３、ｊ５、ｊ６、ｊ８、ｊ９を用いて補
間画像を得る。ただし、図８に示すように、Ｂ１．〜Ｂ
４．の処理により内挿されたラインをｊ２、ｊ３、ｊ
５、ｊ６、ｊ８、ｊ９と表すことにする。例えば、補間
画像２は内挿ラインｊ２（ｊ＝１〜ｎｙ）を並べること
によって図９に示すように再構成できる。補間画像３、
５、６、８、９に関しても同様である。

【００２６】以上述べた構成及び方法を用いて多数枚の
入力画像から補間画像を生成することにより、２枚の画
像からでは求めることができなかった対応点を検出する
ことができるので、補間の精度が向上する。対応点探索
の際においても、撮影パラメータを用いた探索パラメー
タを自動的に決定できるため、探索処理の高速化が可能
となっている。また、多数枚の画像から対応点を求める
ので、前述のようにオクルージョンの問題が解決でき
る。さらに、各視点の画素の対応関係を一画素単位のマ
ッチングでなく近傍画素を含んだパターンどうしのマッ
チングで優先して検出しているため、より正確な対応点
検出ができ、補間生成した画像の画質劣化を抑えられ
る。また、以上は上下方向の視差を省略した場合につい
て説明したが、平面上で格子状の粗い視点間隔の撮影位
置から撮影した多視点画像を保持し、混ぜ、左右方向に
これらの多視点画像を視点間補間し、次に上下方向に視
点間補間することにより、上下方向の視差も考慮した画
像が生成される。

【００２７】（第２の実施例）次に、本発明の画像処理
装置における対応点探索部において、さらに高速化を行
う方法を示す。本実施例は、第１の実施例の対応点探索
部において、直線探索をエピポーラプレーンイメージの
第１ラインから最終ラインに向かって探索するだけ行う
のではなく、最終ラインから第１ラインに向かって探索
を行うことによって実現できる。その際の探索パラメー
タである探索範囲、探索刻み、直線の傾きは、それぞれ
のパラメータの符号を反転させることにより、そのまま
直線探索が可能となる。

【００２８】（第３の実施例）次に、本発明の画像処理
装置を利用者が頭の位置を前後に変えて視点を上下前後
左右に移動させた場合、観察者の視点位置を検出し、観
察者から見える画像を再構成することによって、観察者
が視点を上下前後左右にスムーズに移動した場合にも対
応できる画像処理装置に適用した例を示す。ただし、説
明をわかりやすくするため、以下では上下方向の視差を
省略した場合について説明する。図１０は本発明の画像
処理装置を適用した第３の実施例である画像表示装置の
構成を示す図である。図１０において、１は固定して設
置される画像表示用の表示スクリーン、２は表示スクリ
ーン１を眺める利用者の目の位置を検出する視点検出
器、３は平面上に並んだ粗い視点間隔から表示する対象
物を撮影した多視点画像を保持している多視点画像デー
タベースである。４は表示スクリーン１に関するパラメ
ータを保持する表示パラメータ保持部、５は多視点画像
データベース３の多視点画像を撮影した際の視点並びの
平面を表す座標系を保持している撮影視点座標系保持
部、６は多視点画像データベース３の視点間補間された
画像も含む多視点画像の多視点画像の画像パラメータを
保持している多視点画像パラメータ保持部である。７は
視点検出器１からの信号をもとに視点パラメータを算出
する視点パラメータ算出部、８は視点の移動に対応した
画像を生成する画像生成部である。

【００２９】９は注目する画素を示す画素インデクス信
号、１０は視点パラメータと表示パラメータから、画素
インデクス信号９の示す画素に対応する視線方向を算出
する視線パラメータ算出部、１１は視線パラメータの表
す視線と、撮影視点座標系が表す撮影視点並びの平面と
の交点（仮想視点）を算出する仮想視点パラメータ算出
部、１２は視線パラメータ、撮影視点座標系、仮想視点
パラメータおよび多視点画像パラメータから、仮想視点
における画像の視線方向に対応する画素位置を算出する
画素位置算出部、１３は画素位置と仮想視点パラメータ
をもとに、多視点画像データベース３の視点間補間され
た画像も含む多視点画像から、対応する画素値を算出す
る画素値算出する画素値算出部、１４は表示スクリーン
１へ画像を表示する画像表示部である。１５は、視点パ
ラメータが更新されたことを示す更新信号、１６は画素
値を表す画素値信号である。１７は第１の実施例で用い
られた粗い視点間隔から撮影された多視点画像から十分
細かい視点間間隔の多視点画像を生成する視点間補間処
理部、１８は９〜１３、１７をまとめて構成される画素
値生成部である。

【００３０】次に、図１０の実施例の動作の概略を述べ
る。表示スクリーン１を眺める利用者が頭の位置を変え
て視点を移動させると、視点検出器２の信号が変化し、
視点パラメータ算出部７はこの変化を受けて、更新信号
１５を画像生成部８へ送る。画像生成部８は更新信号１
５を受けると、視点移動に対応した新たな画像の生成を
開始する。画像生成部８はすべての画素について画素イ
ンデクス信号９に対応した画素値信号１６を画素値生成
部１８より得る。画素値生成部１８では、表示パラメー
タ保持部４から表示パラメータをそれぞれ取得し、画素
インデクス信号９に対応する視線パラメータを算出す
る。

【００３１】次に仮想視点パラメータ算出部１１は、撮
影視点座標系保持部５から撮影視点座標系を取得し、視
線パラメータの表す視線と、撮影視点座標系が表す撮影
視点の並びの平面との交点（仮想視点）を表す仮想視点
パラメータを算出する。一方、画素位置算出部１２は、
多視点画像パラメータ保持部６から多視点画像パラメー
タを取得し、その他、視線パラメータ、撮影視点座標
系、仮想視点パラメータから仮想視点位置における画像
の視線方向に対応する画素位置を算出する。画素値算出
部１３は画素位置と仮想視点パラメータとをもとに、多
視点画像データベース３およびそれらより視点間補間処
理部１７で生成された視点間補間画像から、対応する画
素値信号１６を算出する。

【００３２】画像生成部８はすべての画素について、画
素値信号１６を画素値算出部１３から得ると、これを画
像表示部１４へ送る。画像表示部１４はこうして生成さ
れた新しい視点に対応した画像を表示スクリーン１へ表
示する。結果として、利用者は多視点画像データベース
３に保持されている画像を撮影した視点位置以外の、前
後上下左右に視点を移動してもその視点移動に合わせた
対象物の画像を表示スクリーン１を通して眺めることが
できる。

【００３３】次に、各部の処理を詳しく説明する。ま
ず、図１１、図１２を用いて、視線パラメータ算出部１
０の処理を説明する。図１１は視線パラメータ算出部１
０の算出原理を示す図である。１は表示スクリーン、５
１は表示スクリーン１の端点（位置ベクトルＸｓ）、５
２は長さが表示スクリーン１のピクセルピッチで、傾き
が表示スクリーン１の傾きに一致するベクトル（表示ス
クリーンベクトルｐ）、５３は表示スクリーン１上の注
目する画素位置（位置ベクトルＸｐ）、５４は利用者の
視点位置（位置ベクトルＸｖ）、５５は注目する画素位
置５３に対応する視線、５６は視線５５の傾きを表すベ
クトル視線ベクトル（ａ）である。

【００３４】図１２は視線パラメータ算出部１０の処理
を示すフローチャートである。まず、ステップＳ６１で
視点パラメータ算出部７から視点パラメータを取得す
る。ここで、視点パラメータは図１１の利用者の視点位
置５４である。次にステップＳ６２で表示パラメータ保
持部４から表示パラメータを取得する。ここで表示パラ
メータとは、表示スクリーン１の端点５１、表示スクリ
ーンベクトル５２である。表示スクリーンベクトル５２
は、表示スクリーン１の傾き、実サイズおよびピクセル
サイズから決定される。次にステップＳ６３で、図１１
に示す幾何学に従い、画素インデクス信号９に対応する
表示スクリーン１上の注目する画素位置５３を以下の
（６）式で算出する。ただし、画素インデクス信号９を
ｉとする。Ｘｐ＝Ｘｓ＋ｉ・ｐ ………（６）次にステップＳ６４で、視点位置５４から眺めた場合の
画素位置５３の方向に対応する視線パラメータを求め
る。視線パラメータは、視点位置５４および視線ベクト
ル５６の組み（Ｘｖ、ａ）とする。視線５５は図１０に
示す幾何学に従い、画素位置５３および視点位置５４の
２点を通る直線であり、視線ベクトル５６は以下の
（７）式で算出する。ａ＝Ｘｐ−Ｘｖ ………（７）

【００３５】次に、図１３を用いて仮想視点パラメータ
算出部１１および画素位置算出部１２の処理を説明す
る。図１３は仮想視点パラメータ算出部１１および画素
位置算出部１２の算出原理を示す図である。５５は視
線、４１は多視点画像データベース３の多視点画像を撮
影した際の並びの平面の断面の視点並び直線、４２は視
線５５と、視点並び直線４１との交点（仮想視点位置ベ
クトルＸ）、４３は視点並び直線４１の傾きを表すベク
トル（視点並びベクトルＴ）、４４は視点並び直線の端
点（位置ベクトルＸｌ）である。４５は仮想視点４２に
おける画角の視野、４６は、長さが、多視点画像を撮影
したカメラの焦点距離、傾きが、カメラの傾きであるよ
うなベクトル（焦点ベクトルｆ）、４７は仮想視点４２
における仮想的な撮像面、４８は仮想的な撮像面４７と
視線５５との交点である画素位置（位置ベクトルＸ
ｐ’）、４９は長さが仮想的な撮像面４７のピクセルピ
ッチで、傾きが仮想的な撮像面４７の傾き（通常は焦点
ベクトル４６に直角）に一致するベクトル（撮像面ベク
トルｐ’）である。

【００３６】ここで、視点並びベクトル４３および視点
並び直線の端点４４が撮影視点座標系を表す値として、
撮影視点座標系保持部５に保持されている。また、焦点
ベクトル４６および撮像面ベクトル４９は、多視点画像
パラメータとして多視点画像パラメータ保持部６に保持
されている。焦点ベクトル４６は、多視点画像を撮影し
たカメラの焦点距離および傾きから決定される。撮像面
ベクトル４９は、焦点ベクトル４６に直交し、大きさが
撮像面のセルサイズ（１ピクセルの大きさ）に等しいベ
クトルである。

【００３７】次に、図１３を用いて仮想視点パラメータ
算出部１１の処理を説明する。図１２の示す幾何学に従
うと、仮想視点４２は以下の（８）、（９）式で表され
る。Ｘ＝Ｘｌ＋ｔ・Ｔ ………（８）Ｘ＝Ｘｖ＋α・ａ ………（９）ここで仮想視点を一意に表すパラメータとしてｔを仮想
視点パラメータとする。αは視線方向の係数である。
（８）、（９）式を解くことによりｔを算出し、Ｘを算
出する。次に、図１３を用いて画素位置算出部１２の処
理を説明する。図１３の示す幾何学に従い、画素位置４
８は以下の（１０）、（１１）式で表される。Ｘｐ’＝ｆ＋ｉ’・ｐ’ ………（１０）Ｘｐ’＝Ｘ＋β・ａ ………（１１）ここで、画素位置４８を一意に表すパラメータとして
ｉ’を画素位置パラメータとする。βは視線方向の係数
である。（１０）、（１１）式を解くことによりｉ’を
算出し、これを画素位置算出部１２の出力とする。

【００３８】次に、画素値算出部１３の処理について具
体的に説明する。本実施例では、多視点画像データベー
ス３に保持されている多視点画像は、粗い視点間隔で撮
影した画像であり、それを視点間補間処理部１７で十分
細かい視点間補間画像が得られる。そこで、まず、仮想
視点パラメータ算出部１１で算出された仮想視点パラメ
ータ４３の示す仮想視点４２からの画像の近似画像とし
て、仮想視点に一番近い視点から撮影された画像を、多
視点画像データベース３から視点間補間処理部で補間画
像を生成する。次に、この画像のうち、画素位置算出部
１２で算出された画素位置４８に最も近い位置の画素の
値を取得し、これを出力の画素値信号１６とする。

【００３９】以上、説明をわかりやすくするため、上下
方向の視差を省略した場合についての各部の処理を説明
したが、上下方向の多視点画像を用意すれば同様の方法
で、上下方向の視差を考慮に入れた、前後上下左右に視
点移動可能な両眼立体表示装置となる。なお、表示スク
リーン１および画像表示部８に、レンチキュラー方式や
メガネ方式等の両眼立体視が可能な立体表示スクリーン
及び立体画像表示部を用い、かつ、視点パラメータ算出
部７が左右おのおのの目の位置に対応する視点パラメー
タを算出し、これに対応して画像生成部８が左右おのお
のの目に提示するための画像を生成することにより、前
後上下左右に視点移動可能な両眼立体表示装置となる。

【００４０】（第４の実施例）次に、本発明の画像処理
装置を、第３の実施例における表示スクリーン１が利用
者の頭部に固定される形の、いわゆるヘッド・マウンテ
ッド・ディスプレイ（ＨＭＤ）タイプの画像表示装置に
適用した例を示す。本実施例の構成は、第３の実施例の
構成のうち、視線パラメータ算出部１０の処理内容だけ
を以下に説明する処理に置き換えた形となる。説明は、
上下方向の視差を省略した場合について述べる。図１４
は本実施例における視線パラメータ算出部１０の算出原
理を示す図である。１は表示スクリーン、５２は、長さ
が表示スクリーン１のピクセルピッチで、傾きが表示ス
クリーン１の傾きに一致するベクトル（表示スクリーン
ベクトルｐ）、５３は表示スクリーン１上の注目する画
素位置（位置ベクトルＸｐ）、５４は利用者の視点位置
（位置ベクトルＸｖ）、１１１は視点位置５４から表示
スクリーン１の中央点へのベクトル（正面ベクトル
Ｆ）、５５は注目する画素位置５３に対応する視線、５
６は視線５５の傾きをあらわす視線ベクトル（ａ）であ
る。

【００４１】次に、図１４を用いて、視線パラメータ算
出部１０の処理を説明する。ＨＭＤタイプの表示装置で
は、視点検出器２は、利用者の視点位置５４に加えて、
正面方向の傾き、すなわち正面ベクトル１１１の傾きを
検出する。表示スクリーンベクトル５２の傾きは正面ベ
クトル１１１の傾きから決定される（通常は直角）。一
方、視点位置５４から表示スクリーン１までの距離、す
なわち正面ベクトル１１１の長さ、およびピクセルピッ
チ、すなわち表示スクリーンベクトル５２の長さは、Ｈ
ＭＤの形状によって決定される固定した値であり、この
値は表示パラメータ保持部４に保持される。図１４の示
す幾何学に従い、注目する画素位置５３および視線ベク
トル５６を以下の式で算出する。ただし、画素インデク
ス９をｉとする。Ｘｐ＝Ｘｖ＋Ｆ＋ｉ・ｐａ＝Ｘｐ−Ｘｖ ………（１２）

【００４２】以上の構成により、ＨＭＤタイプの表示装
置で多視点画像を任意の視点移動表示できる画像表示装
置となる。また、表示スクリーン１が頭部に固定されて
いなくても、固定して設置された表示スクリーン１と利
用者の視点位置５４の相対的位置関係が固定であるよう
なコックピットタイプの表示装置を用いても、本実施例
と同じ視線パラメータ算出部１０の処理で、任意の視点
移動表示できる画像表示装置となる。このとき、視点検
出器２の代わりに、基準座標における視点位置５４をハ
ンドル等で操作する視点位置入力装置を用いる。

【００４３】図１５は表示スクリーン１の実施例を示す
もので、液晶ディスプレイ１００とレンチキュラーシー
ト１０１とで構成されている。

【００４４】（他の実施例）以上の各実施例ではあらか
じめ撮影された多視点画像とそれから視点間補間を行っ
た画像も含んだ多視点画像データベース３に保持されて
いる構成としたが、これを、多視点画像を実時間で取り
込むことのできる多眼テレビカメラに置き換えることに
より、実時間の任意視点画像撮影・表示システムとな
る。なお、本発明は単体の画像処理装置に適用しても良
いし、多視点テレビ、多視点テレビ電話端末や多視点テ
レビ会議システムのようなシステム機器に適用してもよ
いし、コンピュータや他の画像処理装置と組み合わせた
複合装置にも適用できる。

【００４５】

【発明の効果】以上説明したように、請求項１、１０の
発明によれば、複数の位置から撮影した画像を入力し、
入力された多視点画像データをＥＰＩに分解し、このＥ
ＰＩ上で直線の幅を変化しながら直線を検出し、この直
線から画像間の対応点を検出し、この検出された対応点
を用いて異なった位置から撮影した場合に得られるはず
の画像を生成するように構成したことにより、従来、物
体の前後関係が逆転してしまうような場合や細かい模様
がつぶれてしまうような場合においても、精度よく補間
画像を生成することができる効果がある。

【００４６】また、請求項８、９、１７、１８によれ
ば、対応探索パラメータを自動的に決定することにより
幅を持つ直線検出により補間処理の高速化が可能とな
り、さらに、補間処理により求めた多数の画像あるいは
十分細かく視点を移動して撮影した多視点画像を用いて
前後方向の視点移動に対応した画像を再構成することに
より、従来は対応できなかった前後方向への視点移動が
可能となる効果がある。

【図面の簡単な説明】

【図１】本発明の第１の実施例を示すブロック図であ
る。

【図２】第１の実施例の処理の流れを示すフローチャー
トである。

【図３】図２のステップＳ２２の撮影パラメータから対
応点探索範囲の算出原理を示す説明図である。

【図４】図２のステップＳ２３の対応点探索処理の流れ
を示すフローチャートである。

【図５】ｊ番目のエピポーラプレーンイメージを示す構
成図である。

【図６】図２のステップＳ２４の直線検出の流れを示す
フローチャートである。

【図７】補間処理アルゴリズムを説明するための説明図
である。

【図８】補間処理アルゴリズムを説明するための説明図
である。

【図９】補間処理アルゴリズムを説明するための説明図
である。

【図１０】本発明の第３の実施例を示すブロック図であ
る。

【図１１】第３の実施例の視線パラメータ算出部の算出
原理を示す説明図である。

【図１２】図１０の視線パラメータ算出部の処理を示す
フローチャートである。

【図１３】図１０の仮想視点パラメータ算出部および画
素位置算出部の算出原理を示す説明図である。

【図１４】視線パラメータ算出部の算出原理を示す説明
図である。

【図１５】図１０の表示スクリーンを示す斜視図であ
る。

【図１６】視点間補間の処理の流れを示す説明図であ
る。

【符号の説明】

２０〜２３画像入力部２５ＣＰＵ２６ＲＡＭ２７ＲＯＭ２９ハードディスク３２レンチキュラーディスプレイ

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号庁内整理番号ＦＩ技術表示箇所Ｈ０４Ｎ 5/262 7/18 Ｋ 9365−5ＨＧ０６Ｆ 15/72 ４５０Ａ (72)発明者瓜阪真也東京都大田区下丸子３丁目30番２号キヤノン株式会社内

Claims

【特許請求の範囲】

【請求項１】複数の視点位置から撮影した画像を入力
する画像入力ステップと、上記入力画像を用いて構成されるエピポーラプレーンイ
メージ上で幅を持つ直線を検出する直線検出ステップ
と、上記検出された直線から上記入力画像間の対応点を検出
する対応点検出ステップと、上記検出された対応点を用いて上記入力画像の視点とは
異なる視点からの画像を生成する画像補間ステップとを
備えた画像処理方法。
【請求項２】上記画像入力ステップは、複数台のカメ
ラからの画像が入力可能であることを特徴とする請求項
１記載の画像処理方法。
【請求項３】上記画像入力ステップは、画像データベ
ースからの画像が入力可能であることを特徴とする請求
項１記載の画像処理方法。
【請求項４】上記直線検出ステップは上記エピポーラ
プレーンイメージ上における上記直線の傾きを小数精度
で求めることを特徴とする請求項１記載の画像処理方
法。
【請求項５】上記対応点検出ステップは、上記直線検
出ステップで検出する直線の幅を変更して対応点検出を
行うことを特徴とする請求項１記載の画像処理方法。
【請求項６】上記直線検出ステップを行う際に、撮影
時のパラメータを用いて検出パラメータを自動的に決定
することを特徴とする請求項１記載の画像処理方法。
【請求項７】上記直線検出ステップは上記直線の逆方
向からも検出することを特徴とする請求項１記載の画像
処理方法。
【請求項８】観察者の目の位置を検出する視点検出ス
テップと、上記検出された視点位置から見える画像を上記入力画像
から生成される補間画像から再構成する画像再構成ステ
ップと、上記再構成された画像を出力する画像出力ステップとを
備えることを特徴とする請求項１記載の画像処理方法。
【請求項９】上記画像再構成ステップは、上記観察者
の視点位置および上記画像出力ステップで用いられる画
像出力装置の種類から画像の再構成に必要なパラメータ
を計算し、そのパラメータを用いて再構成画像の各画素
が入力された多視点画像のどの画素に対応するかを計算
し、対応する画素を多視点画像から抽出して画像を再構
成することを特徴とする請求項８記載の画像処理方法。
【請求項１０】複数の視点位置から撮影した画像を入
力する画像入力手段と、上記入力画像を用いて構成されるエピポーラプレーンイ
メージ上で幅を持つ直線を検出する直線検出手段と、上記検出された直線を用いて上記入力画像間の対応点を
検出する対応点検出手段と、上記検出された対応点を用いて上記入力画像の視点とは
異なった視点からの画像を生成する画像補間手段とを備
えた画像処理装置。
【請求項１１】上記画像入力手段は、複数台のカメラ
からの画像が入力可能であることを特徴とする請求項１
０記載の画像処理装置。
【請求項１２】上記画像入力手段は、画像データベー
スからの画像が入力可能であることを特徴とする請求項
１０記載の画像処理装置。
【請求項１３】上記直線検出手段は、上記エピポーラ
プレーンイメージ上における上記直線の傾きを小数精度
で求めることを特徴とする請求項１０記載の画像処理装
置。
【請求項１４】上記対応点検出手段は、上記直線検出
手段で検出する直線の幅を変更して対応点検出を行うこ
とを特徴とする請求項１０記載の画像処理装置。
【請求項１５】直線検出手段は、撮影時のパラメータ
を用いて検出パラメータを自動的に決定することを特徴
とする請求項１０記載の画像処理装置。
【請求項１６】上記直線検出手段は、上記直線の逆方
向からも検出することを特徴とする請求項１０記載の画
像処理装置。
【請求項１７】観察者の目の位置を検出する視点検出
手段と、上記検出された視点位置から見える画像を上記入力画像
から生成される補間画像から再構成する画像再構成手段
と、上記再構成された画像を出力する画像出力手段とを備え
ることを特徴とする請求項１０記載の画像処理装置。
【請求項１８】上記画像再構成手段は、上記観察者の
視点位置および上記画像出力手段の種類から画像の再構
成に必要なパラメータを計算し、そのパラメータを用い
て再構成画像の各画素が入力された多視点画像のどの画
素に対応するかを計算し、対応する画素を多視点画像か
ら抽出して画像を再構成することを特徴とする請求項１
７記載の画像処理装置。