JPH09245195A

JPH09245195A - 画像処理方法およびその装置

Info

Publication number: JPH09245195A
Application number: JP8051520A
Authority: JP
Inventors: Masahiro Shibata; 昌宏柴田; Akihiro Katayama; 昭宏片山; Shinji Uchiyama; 晋二内山
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1996-03-08
Filing date: 1996-03-08
Publication date: 1997-09-19

Abstract

(57)【要約】【課題】観察者が３次元仮想空間を観察するときに、
観察者自身の動きに合わせて、よりリアルな画像を生成
・表示できるようにする。【解決手段】複数の視点位置から画像を撮像し（ステ
ップＳ２０１）、撮像された多視点画像を保存し（ステ
ップＳ２０２）、保存された画像を光線群データに変換
し（ステップＳ２０３）、変換されたデータを光線空間
に射影し（ステップＳ２０４）、その射影されないすべ
ての部分について補間合成を行う（ステップＳ２０
５）。その後、観察者の視点移動に伴って、光線空間か
ら任意の視点位置における画像を生成・表示する（ステ
ップＳ２０６〜Ｓ２０８）。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像処理方法およ
びその装置、特に、使用者の動きに応じてリアルタイム
に、任意の視点位置における画像を生成・表示する方法
およびその装置に関するものである。

【０００２】

【従来の技術】従来、複数の視点位置で撮像された実写
画像群を用いて、任意の視点位置における画像を生成す
る場合、該実写画像群のデータを用いて予め光線空間を
作成しておき、光線空間からデータを読み込むことによ
って行う方法があった。

【０００３】ここで、光線空間の概念について説明す
る。３次元空間内には、光源や物体の反射光により光線
が発せられている。３次元空間内のある１点を横切る光
線は、その位置（ｘ，ｙ，ｚ）と方向（θ，φ）を表す
５つの変数により一意に定められる。この光線の光強度
を表す関数をｆと定義すると、３次元空間内の光線群デ
ータはｆ（ｘ，ｙ，ｚ，θ，φ）と表される。さらに、
光線群データの時間変化を考慮すると、ｆ（ｘ，ｙ，
ｚ，θ，φ；ｔ）となり、３次元空間内の光線群は６次
元の空間として記述される。この空間が光線空間と呼ば
れている。通常の２次元画像は、１点の視点の集まる光
線群を記録したものと考えられるので、ｆ（θ，φ）｜ｘ＝ｘ₀，ｙ＝ｙ₀，ｚ＝ｚ₀，ｔ＝ｔ₀ （１）という２次元データを記録したものと言える。

【０００４】ここで、ｔ＝０においてＺ＝ｚという平面
を通過する光線群に着目する。この面を、基準面と呼
ぶ。Ｙ軸に垂直な水平面（Ｘ−Ｚ平面）を考え、上下方
向の視差を考慮しないことにすると（ｙ＝０，φ＝
０）、実空間は図３（ａ）に示すようになる。基準面か
ら発せられる光線群は、位置ｘと角度θの２変数でｆ
（ｘ，θ）と記述される。従って、実空間中のある一点
（Ｘ，Ｚ）を通過する光線群には、Ｘ＝ｘ＋Ｚｔａｎθ （２）という関係が成り立つ。ここで、ｕ＝ｔａｎθという変
数を定義すると、式（２）は、Ｘ＝ｘ＋ｕＺ（３）となり、（Ｘ，Ｚ）の視点位置で観察される光線群を光
線空間のｘ−ｕ平面に射影すると、図３（ｂ）に示すよ
うに直線状の軌跡をなす。

【０００５】上下方向の視差を省略して考えると、多数
の視点位置で撮像された画像に基づいて、光線空間のｘ
−ｕ平面を直線状の軌跡で埋めておけば、任意視点位置
の画像は、式（３）に基づく直線に添ってｘ−ｕ平面か
ら光線空間データを読み込めば生成できることになる。

【０００６】

【発明が解決しようとする課題】物体を観察する視点の
位置は連続的に存在するが、物体をカメラなどの静止画
像撮像装置で撮像する場合、連続的に視点の位置を変化
させて撮像することはほぼ不可能であり、また、可能で
あったとしても全画像データは莫大な量になってしまい
現実的でない。そこで、複数の視点位置からの画像の撮
像は離散的に行われる。そのため、光線空間内のデータ
もすべての視点位置に対するデータは作成されず、離散
的なデータとなる。従って、データの存在しない部分に
関しては、光線空間内の既存データから補間合成するこ
とにより光線空間データを生成しなければならない。

【０００７】従来の技術では、光線空間内に離散的に撮
像した多視点画像から得られた光線空間データだけが登
録されており、すべての視点位置に対するデータは登録
されていない。従って、任意視点に対して登録されてい
ない光線空間データは、その視点の位置が検出されたと
きに初めて、予め登録されている光線空間データからそ
の視点位置に対するデータを補間合成し表示を行ってい
る。このような手法では、視点を移動させるたびに登録
されていない光線空間データを補間合成しなければなら
ず、表示の際の計算量が増えてしまい、場合によっては
リアルタイム性が失われてしまうことがある。

【０００８】本発明は、予めすべての光線空間データを
作成して記憶装置に記憶させておくことにより、上記の
課題を解決するものである。具体的には、光線空間内の
データを予めすべて補間合成し、オフラインに作成して
おくことにより、画像を生成する際には、光線空間を参
照するだけで光線群データを読み込むことができるよう
にする。これにより、視点移動に伴う画像の生成・表示
の際に、計算量を削減でき、高速化を計ることができ
る。

【０００９】

【課題を解決するための手段】上記の課題を解決するた
めに、本発明に係る画像処理方法においては、複数の視
点位置で撮像した画像を入力する画像入力工程と、前記
入力された離散的な多視点画像を光線空間に射影し、該
射影では埋まらない光線空間を、既に射影されている画
像から補間して、光線空間全域に光線空間データを作成
する光線空間データ作成工程と、観察者の視点位置を検
出する視点位置検出工程と、観察者の視線方向を検出す
る視線方向検出工程と、前記検出された視点位置から前
記検出された視線方向に観察される画像を前記作成され
た光線空間データから生成する画像生成工程と、前記生
成された画像を出力する画像出力工程とを設けた。

【００１０】また好ましくは、前記画像入力工程におい
て、１台の撮像器をずらすことによって撮像した複数枚
の画像を入力する。

【００１１】また好ましくは、前記画像入力工程におい
て、複数台の撮像器によって撮像された複数枚の画像を
入力する。

【００１２】また好ましくは、前記画像生成工程におい
て、前記作成された光線空間データを直接参照すること
により、前記検出された視点位置から前記検出された視
線方向に観察される画像を生成する。

【００１３】また好ましくは、前記画像入力工程におい
て、１列の多視点画像を入力する。

【００１４】また好ましくは、前記光線空間データ作成
工程において、前記入力された１列の多視点画像間の対
応点を探索し、該探索の結果に基づいて、前記光線空間
における画像の視点間の補間処理を行う。

【００１５】また好ましくは、前記視点位置検出工程に
おいて、キーボードやマウスを含む入力デバイスを用い
る。

【００１６】また好ましくは、前記視線方向検出工程に
おいて、キーボードやマウスを含む入力デバイスを用い
る。

【００１７】また好ましくは、前記視点位置検出工程に
おいて、ヘッドマウントディスプレイを含むセンサ付デ
バイスを用いる。

【００１８】また好ましくは、前記視線方向検出工程に
おいて、ヘッドマウントディスプレイを含むセンサ付デ
バイスを用いる。

【００１９】また、上記の課題を解決するために、本発
明に係る画像処理装置においては、複数の視点位置で撮
像した画像を入力する画像入力手段と、前記入力された
離散的な多視点画像を光線空間に射影し、該射影では埋
まらない光線空間を、既に射影されている画像から補間
して、光線空間全域に光線空間データを作成する光線空
間データ作成手段と、観察者の視点位置を検出する視点
位置検出手段と、観察者の視線方向を検出する視線方向
検出手段と、前記検出された視点位置から前記検出され
た視線方向に観察される画像を前記作成された光線空間
データから生成する画像生成手段と、前記生成された画
像を出力する画像出力手段とを設けた。

【００２０】また好ましくは、前記画像入力手段は、１
台の撮像器をずらすことによって撮像した複数枚の画像
を入力する。

【００２１】また好ましくは、前記画像入力手段は、複
数台の撮像器によって撮像された複数枚の画像を入力す
る。

【００２２】また好ましくは、前記画像生成手段は、前
記作成された光線空間データを直接参照することによ
り、前記検出された視点位置から前記検出された視線方
向に観察される画像を生成する。

【００２３】また好ましくは、前記画像入力手段は、１
列の多視点画像を入力する。

【００２４】また好ましくは、前記光線空間データ作成
手段は、前記入力された１列の多視点画像間の対応点を
探索し、該探索の結果に基づいて、前記光線空間におけ
る画像の視点間の補間処理を行う。

【００２５】また好ましくは、前記視点位置検出手段
は、キーボードやマウスを含む入力デバイスを用いる。

【００２６】また好ましくは、前記視線方向検出手段
は、キーボードやマウスを含む入力デバイスを用いる。

【００２７】また好ましくは、前記視点位置検出手段
は、ヘッドマウントディスプレイを含むセンサ付デバイ
スを用いる。

【００２８】また好ましくは、前記視線方向検出手段
は、ヘッドマウントディスプレイを含むセンサ付デバイ
スを用いる。

【００２９】

【発明の実施の形態】（実施の形態１）図１に、複数の視点位置で撮像された
実写画像群から任意の視点位置における画像を生成・表
示する装置の実施の形態１の概略図を示す。図中１０１
は、該実写画像群を撮像するための画像入力装置であ
る。画像入力装置１０１は、１台のカメラをずらすこと
によって多数枚の画像を撮像しても、また複数台のカメ
ラをセットすることで多数枚の画像を撮像してもよい。
１０２は記憶装置１０３に記憶されているプログラムに
従って処理を行うＣＰＵである。１０３は記憶装置であ
り、該実写画像群の画像データや、多視点画像から生成
された光線空間データや、ＣＰＵ１０２によって実行さ
れるプログラムを記憶する。また、記憶装置１０３に
は、ラスタを読み込むためのワークメモリとしてのエリ
アが設けられている。１０４は観察者の視点位置・視線
方向を検出するための視点・視線検出装置である。視点
・視線検出装置１０４には、キーボードやマウスなどの
入力デバイスを用いるか、またはＨＭＤ（ヘッドマウン
トディスプレイ）などセンサの付いているデバイスなど
を用いることができる。１０５は、観察者の視点位置・
視線方向にしたがって生成された画像を表示するための
画像出力装置である。画像出力装置には、ＣＲＴや液晶
ディスプレイなどの一般的な２次元ディスプレイを用い
ても、レンティキュラやＨＭＤなどの３次元ディスプレ
イを用いてもよい。なお、プログラムは、ＦＤ（フロッ
ピーディスク）・ＣＤ−ＲＯＭ・磁気テープ等の記憶媒
体に記録しておき、記憶媒体読み取り装置１０６から読
みだして記憶装置１０３に記憶させてもよい。また、１
０７は各部を接続するバスである。

【００３０】図１に示した装置を用いて、多視点画像を
撮像して光線空間を作成する処理方法、および光線空間
から任意の視点位置における画像を生成・表示する処理
方法の流れ図を図２に示す。ＣＰＵ１０２は、記憶装置
１０３に記憶されているプログラムに従ってこの処理を
実行する。なお、図２中の枠Ａで囲まれた処理は、多視
点画像を撮像して光線空間を作成するまでの部分で、オ
フラインに処理される。また、図２中の枠Ｂで囲まれた
処理は、光線空間から任意の視点位置における画像を生
成・表示するまでの部分で、オンラインに処理される。

【００３１】まず、多視点画像を撮像して光線空間を作
成する処理について説明する。ステップＳ２０１では、
画像入力装置１０１を用いて複数の視点位置から画像を
撮像する。ステップＳ２０２では、ステップＳ２０１で
撮像された多視点画像が記憶装置１０３に保存される。
ステップＳ２０３では、記憶装置１０３に保存された多
視点画像データが光線群データに変換される。これはＣ
ＰＵ１０２により、ステップＳ２０１における撮像状
況、すなわちカメラの位置（視点位置）・姿勢（視線方
向）から、各画像内の各画素値を３次元空間内の光線群
データに変換する計算が行われる。ステップＳ２０４で
は、ステップＳ２０３で変換された光線群データを光線
空間に射影する。このとき、ステップＳ２０１の撮像に
おけるカメラ位置は離散的であるから、光線空間は部分
的に射影されないところが生じる。ステップＳ２０５で
は、ステップＳ２０４で射影されないすべての部分につ
いて、補間合成を行う。これにより、光線空間のすべて
の部分に、光線群データを射影することができる。こう
して作成された光線空間データは、記憶装置１０３に記
憶される。ステップＳ２０１からステップＳ２０５まで
が、光線空間の作成処理であり、ここまでの処理が、オ
フラインに行われる。

【００３２】なお、ステップＳ２０５における光線空間
データの補間合成手法としては、最近傍の光線空間デー
タの値を推定値とするＮｅａｒｅｓｔＮｅｉｇｈｂｏ
ｒ法や、近傍データからの距離に基づいて線形に内挿す
る線形補間法などが適用できる。

【００３３】次に、観察者の視点移動に伴って、光線空
間から任意の視点位置における画像を生成・表示する処
理について説明する。ステップＳ２０６では、視点・視
線検出装置１０４を用いて観察者の視点位置・視線方向
を検出する。ステップＳ２０７では、記憶装置１０３に
記憶されている光線空間データから、ステップＳ２０６
で検出された視点位置・視線方向で観察される光線群デ
ータを式（３）に基づいて読み込み、画像を生成する。
ただし、式（３）だけから生成されるのは１スキャンラ
インのみの画像であり、一般的な２次元画像を生成する
ためには、ｘ座標に対応するすべての画素をリンクして
おくか、ｘ−ｕ平面と同様にｙ−ｖ平面（ｖ＝ｔａｎ
φ）を作成する必要がある。ステップＳ２０８では、ス
テップＳ２０７で生成された画像を画像出力装置１０５
で表示する。

【００３４】（実施の形態２）次に、光線空間の補間合
成法としてＥＰＩ（エピポーラプレーンイメージ）によ
る視点間補間手法を用いた例を示す。本実施の形態２で
は、実施の形態１の流れ図におけるステップＳ２０５の
補間合成処理において、ＥＰＩを用いて視点間補間処理
を行う。

【００３５】以下に、図４から図１０を用いて、ＥＰＩ
を用いた視点間補間合成処理について説明する。ただ
し、説明をわかりやすくするため、上下方向の視差を省
略した場合について説明する。

【００３６】図４に本実施の形態の視点間補間合成処理
の流れ図を示す。やはり、この処理をあらわすプログラ
ムは記憶装置１０３に記憶されており、ＣＰＵ１０２で
実行される。まず、ステップＳ１で直線上に配置した撮
影位置で撮像した多視点画像を入力する。次にステップ
Ｓ２で、多視点画像間の対応点探索（動きベクトル検
出）を行う。対応点探索が終了すると、次にステップＳ
３において、ステップＳ２における対応点探索に基づく
光線空間データの補間処理を行う。

【００３７】次にステップＳ４に移り、ステップＳ３に
おいて未補間の画素の値を周囲の補間済みの画素から推
定し、すべての光線空間データを埋める。推定の方法と
しては、近傍の画素値の平均値を推定値とする方法や最
も近い画素位置の値を推定値とする方法がある。

【００３８】図５は、ステップＳ２の対応点探索処理の
流れ図である。ステップＳ１１において初期設定として
注目ラスタを各画像の第１ラスタにセットする。次にス
テップＳ１２において各画像の注目ラスタを記憶装置１
０３内のワークメモリに読み込み、仮想的にｊ番目のエ
ピポーラプレーンを構成する。ここで言うｊ番目のエピ
ポーラプレーンとは、図６に示すように画像平面上の各
点ＥＰ_j（ｘ，ｉ）がＥＰ_j（ｘ，ｉ）＝Ｎ_i（ｘ，ｊ）（４）を満たすような点ＥＰ_j（ｘ，ｉ）の集合のことであ
る。ただし、Ｎ_i（ｘ，ｊ）はｉ番目の画像（ここで
は、ｉ＝１〜４）のｊライン目におけるｘ番目の画素
値、すなわちｉ番目の画像において座標が（ｘ，ｊ）で
表される画素の値を表している。画像入力装置を等間隔
かつ並行に配置して撮像した多視点画像を考える場合、
このエピポーラプレーン上では、対応する点はすべて直
線上に並んで存在する。従って、対応点の検出は、直線
を検出することによって行うことができ、また、画像の
補間は検出された直線上で行えばよいことになる。そこ
で、ステップＳ１３において対応点が存在する直線を検
出し、ステップＳ１４において、入力画像のすべてのラ
スタについて処理が行われたかが判定され、まだなら
ば、ステップＳ１５においてｊの値を１増やしてステッ
プＳ１２に戻り、すべてのラスタについて処理が終了し
たならば、ステップＳ３に移る。ここでｎｙは入力画像
の総ラスタ数を表している。

【００３９】次に、ステップＳ１３における直線検出の
具体的なアルゴリズムを図７の流れ図を用いて示す。

【００４０】まずステップＳ２１において優先順位ｎ＝
１、注目画素のラスタｒ＝１に設定する。次にステップ
Ｓ２２に移り、ＥＰ_j（ｘ，ｉ）を注目画素とし、ｍ＝
ｋ１〜ｋ１＋ｋ２，ｘ＝１〜ｎｘの範囲内で、

【００４１】

【外１】を満たすｍをすべて求める。ただし、ｍは実数値も取り
得るので、ｘ＋ｍ×（ｉ−ｒ）の値は四捨五入して対応
するｘ座標を決定する。ＴＨ２は対応点を見つけるため
のしきい値であり、ここではＴＨ２＝１２００に設定し
ている。この１２００の意味合いであるが、４ラインの
ＥＰＩなので差分を３回計算することになり、それぞれ
の差分値が２０以下くらいであれば、ほぼ同じ色である
という仮定のもとに３×２０×２０＝１２００としてい
る。もし理想的な入力系で画像にスペキュラー成分が存
在しない場合（各画像に写っている点は同じ画素値をも
つ）は、ＴＨ２＝０で良いが、実際の入力系では同じ点
でも各画像で画素値がばらついているため、幅を持たせ
て差分値を２０としている。従って、入力系が高精度に
なるほどこの差分値は小さくなり、逆の場合は差分値を
大きく設定する必要がある。上記の手法は、画素値がＲ
ＧＢの場合にそれぞれに対して行う手法だが、それだけ
ではなく、ＹＩＱあるいはＨＩＳなど様々な表色系に一
度変換した場合にも対応でき、それぞれに適したしきい
値を設定して用いることも可能である。また、ｋ１は入
力方式によって定まる値であり、カメラを平行にかつ等
間隔に配置して撮像する場合はｋ１＝０である。ｋ２は
カメラ間隔と物体までの距離により決定される値で、こ
こではｋ２＝２０に設定（すなわち、２０画素以上は移
動しないと仮定）している。ただし、ｎｘは画像の主走
査方向の画素数を表す。

【００４２】また、ＥＰ_j（ｘ＋ｍ×（ｉ−ｒ），ｉ）
が存在しない場合は、このｍにおける対応点は存在しな
いとして処理を続ける。ただし、ステップＳ２２におい
てＥＰ_j（ｘ＋ｍ×（ｉ−ｒ），ｉ）が処理済みの場合
は、ＥＰ_j（ｘ＋ｍ×（ｉ−ｒ），ｉ）−ＥＰ（ｘ，
ｒ）＝０として処理を続ける。次にステップＳ２３に移
り、ステップＳ２２において求まった傾きｍの直線から
優先順位ｎの対応点を求め、メモリに記憶する。複数の
対応点が求まる場合は、便宜上すべてを優先順位ｎの対
応点として記憶する。対応点として求まった画素は処理
済みの画素とする。ステップＳ２３において傾きｍの直
線より求まった対応点がすでに処理済みの場合は、この
点を対応点から除外する。さらに未処理の画素数をｗに
セットする。次にステップＳ２４に移り、未処理の画素
数ｗが０か否かを判定する。０ならば処理を終了し、ス
テップＳ１４に戻る。０でなければステップＳ２５に移
り、注目ラスタｒが最終らすたかどうかを判定し、最終
ラスタならばステップＳ２６においてｒ＝１（先頭ラス
タ）に設定し、そうでなければステップＳ２７において
注目ラスタｒの値を１増やす。ステップＳ２５中のＲは
ＥＰＩの構成ラスタ数（ここではＲ＝４）を示してい
る。次にステップＳ２８に移り、優先順位を示すｎがＮ
に等しいか否かを判定する。Ｎは物体同士が遮蔽しあう
現象（オクルージョン）の複雑さを表している。すなわ
ち、Ｎが大きな値であれば、物体が幾重にも重なってい
る状態であり、Ｎが小さければ物体の重なりは少ない。
Ｎの値の設定は、どの程度のオクルージョンまで再現す
るかにより決まってくる。ここでは、経験的な値として
Ｎ＝（Ｒ−１）×１０、すなわち、Ｎ＝３０に設定して
いる。ステップＳ２８においてｎ≠ＮならばステップＳ
３０に移り、ｎの値を１増やし、ｕにｗの値をセット
し、ステップＳ２２に戻る。ｎ＝ＮならばステップＳ２
９に移り、未処理の画素数が前回の処理時よりも減少し
たか否かを判定し、減少したならば、ステップＳ３０に
移り、そうでなければ第ｊ−ＥＰＩでの直線検出処理を
終了し、ステップＳ１４に戻る。

【００４３】上記のようなアルゴリズムで処理を行うこ
とにより、２枚の画像からでは求まらなかった対応点が
検出でき、また、オクルージョンなどにも対応できるの
で、対応点探索の精度が向上する。

【００４４】図８は、ｊ番目のエピポーラプレーンを表
している。ａ１，ｂ１は優先順位１の対応点を示し、ｃ
２は優先順位２の対応点を示している。入力画像間に等
間隔にｎ枚の画像を補間する場合を考える。ここでは説
明を単漢にするため、内挿ラスタ数を２とする。このこ
とをｊ番目のエピポーラプレーンで考えた場合、図１０
に示すようにエピポーラプレーンのライン間に２本ずつ
ラスタを内挿し、原画のエピポーラプレーンの対応点同
士を結んだ直線上にある内挿されたラスタの画素値を、
対応点同士の平均値に設定すればよい。

【００４５】次に、ステップＳ３における画像の視点間
補間処理の具体的なアルゴリズムを図９の流れ図を用い
て説明する。

【００４６】まずステップＳ５１において、画像補間処
理のための初期設定を行う。ｊ＝１にセットし、注目Ｅ
ＰＩを第ｊ−ＥＰＩにセットする。また優先順位ｎをｎ
＝Ｎにセットする。ここでＮはステップＳ２８で用いた
Ｎ（Ｎ＝３０）と同じものである。次にステップＳ５２
に移り、第ｊ−ＥＰＩ上の優先順位ｎの対応点を結んだ
直線を考え、この直線上にある内挿ラスタの画素値を、
直線上にある原画像の画素値の平均値にセットする。た
だし、同じ優先順位の対応点が複数ある場合は、対応点
を結んだ直線の傾きの小さい（ラスタに対して垂直な直
線を傾き０と考える）ものから順に処理を行う。この処
理を終えたらステップＳ５３に移り、注目ＥＰＩ上の優
先順位ｎのすべての対応点に対してステップＳ５２の処
理が終了したか否かの判定を行い、終了していなければ
ステップＳ５２に戻り、終了したならばステップ５４に
移り、現在処理している優先順位が１かどうかの判定を
行う。判定が１でなければ、ステップＳ５５において優
先順位を１減じて（ｎ＝ｎ−１）ステップＳ５２に移
り、１ならばステップＳ５６において注目ＥＰＩが最終
のＥＰＩかどうかの判定を行う。ここでｎｙはステップ
Ｓ１４で用いたｎｙと同じもので、入力画像の総らすた
数である。注目ラスタが最終のＥＰＩでなければ、ステ
ップＳ５７において注目ＥＰＩを次のＥＰＩにセットし
（ｊ＝ｊ＋１）、ステップＳ５５に戻る。最終のＥＰＩ
ならば画像補間処理を終了し、ステップＳ４に戻る。

【００４７】以上述べたように優先順位の低い（ｎの値
が大きい）対応点から順に処理を行い、優先順位の高い
対応点によって上書きすることで、図１０に示すよう
に、オクルージョンを考慮した補間処理を行うことがで
きる。ただし、図１０におけるａ，ｂ，ｃはそれぞれ対
応点ａ１，ｂ１，ｃ１により内挿された画素を表してい
る。

【００４８】以上述べた構成および方法を用いて、多視
点画像から光線空間データを補間合成することができ
る。

【００４９】また、本発明は、複数の機器から構成され
るシステムに適用しても、一つの機器からなる装置に適
用しても良い。また、本発明はシステムあるいは装置に
プログラムを供給することによって実施される場合にも
適用されることは言うまでもない。この場合、本発明に
係るプログラムを格納した記憶媒体が、本発明を構成す
ることになる。そして、該記憶媒体からそのプログラム
をシステムあるいは装置に読み出すことによって、その
システムあるいは装置が、予め定められた方法で動作す
る。

【００５０】

【発明の効果】以上説明したように本発明によれば、操
作中の計算処理が軽減し、画像表示を高速化できる。こ
れにより、観察者が３次元仮想空間を観察するときに、
観察者自身の動きに合わせて、よりリアルな画像を生成
・表示できるという効果がある。

【図面の簡単な説明】

【図１】実施の形態１の任意視点画像生成・表示装置の
概略構成図である。

【図２】実施の形態１の任意視点画像生成・表示装置の
処理の流れ図である。

【図３】光線空間の説明図である。

【図４】実施の形態２のＥＰＩを用いた視点間補間合成
処理の流れ図である。

【図５】対応点探索処理の流れ図である。

【図６】ＥＰＩの説明図である。

【図７】ＥＰＩ上での直線検出処理の流れ図である。

【図８】対応点検出を行ったＥＰＩの例を示す図であ
る。

【図９】補間処理の流れ図である。

【図１０】対応点検出に基づいて補間処理を行った例を
示す図である。

【符号の説明】

１０１画像入力装置１０２ＣＰＵ１０３記憶装置１０４視点・視線検出装置１０５画像出力装置１０６記憶媒体読み取り装置

Claims

【特許請求の範囲】

【請求項１】複数の視点位置で撮像した画像を入力す
る画像入力工程と、前記入力された離散的な多視点画像を光線空間に射影
し、該射影では埋まらない光線空間を、既に射影されて
いる画像から補間して、光線空間全域に光線空間データ
を作成する光線空間データ作成工程と、観察者の視点位置を検出する視点位置検出工程と、観察者の視線方向を検出する視線方向検出工程と、前記検出された視点位置から前記検出された視線方向に
観察される画像を前記作成された光線空間データから生
成する画像生成工程と、前記生成された画像を出力する画像出力工程とを備えた
ことを特徴とする画像処理方法。
【請求項２】前記画像入力工程において、１台の撮像
器をずらすことによって撮像した複数枚の画像を入力す
ることを特徴とする請求項１記載の画像処理方法。
【請求項３】前記画像入力工程において、複数台の撮
像器によって撮像された複数枚の画像を入力することを
特徴とする請求項１記載の画像処理方法。
【請求項４】前記画像生成工程において、前記作成さ
れた光線空間データを直接参照することにより、前記検
出された視点位置から前記検出された視線方向に観察さ
れる画像を生成することを特徴とする請求項１記載の画
像処理方法。
【請求項５】前記画像入力工程において、１列の多視
点画像を入力することを特徴とする請求項１記載の画像
処理方法。
【請求項６】前記光線空間データ作成工程において、
前記入力された１列の多視点画像間の対応点を探索し、
該探索の結果に基づいて、前記光線空間における画像の
視点間の補間処理を行うことを特徴とする請求項５記載
の画像処理方法。
【請求項７】前記視点位置検出工程において、キーボ
ードやマウスを含む入力デバイスを用いることを特徴と
する請求項１記載の画像処理方法。
【請求項８】前記視線方向検出工程において、キーボ
ードやマウスを含む入力デバイスを用いることを特徴と
する請求項１記載の画像処理方法。
【請求項９】前記視点位置検出工程において、ヘッド
マウントディスプレイを含むセンサ付デバイスを用いる
ことを特徴とする請求項１記載の画像処理方法。
【請求項１０】前記視線方向検出工程において、ヘッ
ドマウントディスプレイを含むセンサ付デバイスを用い
ることを特徴とする請求項１記載の画像処理方法。
【請求項１１】複数の視点位置で撮像した画像を入力
する画像入力手段と、前記入力された離散的な多視点画像を光線空間に射影
し、該射影では埋まらない光線空間を、既に射影されて
いる画像から補間して、光線空間全域に光線空間データ
を作成する光線空間データ作成手段と、観察者の視点位置を検出する視点位置検出手段と、観察者の視線方向を検出する視線方向検出手段と、前記検出された視点位置から前記検出された視線方向に
観察される画像を前記作成された光線空間データから生
成する画像生成手段と、前記生成された画像を出力する画像出力手段とを備えた
ことを特徴とする画像処理装置。
【請求項１２】前記画像入力手段は、１台の撮像器を
ずらすことによって撮像した複数枚の画像を入力するこ
とを特徴とする請求項１１記載の画像処理装置。
【請求項１３】前記画像入力手段は、複数台の撮像器
によって撮像された複数枚の画像を入力することを特徴
とする請求項１１記載の画像処理装置。
【請求項１４】前記画像生成手段は、前記作成された
光線空間データを直接参照することにより、前記検出さ
れた視点位置から前記検出された視線方向に観察される
画像を生成することを特徴とする請求項１１記載の画像
処理装置。
【請求項１５】前記画像入力手段は、１列の多視点画
像を入力することを特徴とする請求項１１記載の画像処
理装置。
【請求項１６】前記光線空間データ作成手段は、前記
入力された１列の多視点画像間の対応点を探索し、該探
索の結果に基づいて、前記光線空間における画像の視点
間の補間処理を行うことを特徴とする請求項１５記載の
画像処理装置。
【請求項１７】前記視点位置検出手段は、キーボード
やマウスを含む入力デバイスを用いることを特徴とする
請求項１１記載の画像処理装置。
【請求項１８】前記視線方向検出手段は、キーボード
やマウスを含む入力デバイスを用いることを特徴とする
請求項１１記載の画像処理装置。
【請求項１９】前記視点位置検出手段は、ヘッドマウ
ントディスプレイを含むセンサ付デバイスを用いること
を特徴とする請求項１１記載の画像処理装置。
【請求項２０】前記視線方向検出手段は、ヘッドマウ
ントディスプレイを含むセンサ付デバイスを用いること
を特徴とする請求項１１記載の画像処理装置。