JPH09284809A

JPH09284809A - 画像処理装置及び画像処理方法

Info

Publication number: JPH09284809A
Application number: JP8097134A
Authority: JP
Inventors: Shinya Urisaka; 真也瓜阪; Akihiro Katayama; 昭宏片山; Kouichirou Tanaka; 宏一良田中; Eita Ono; 英太小野
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1996-04-18
Filing date: 1996-04-18
Publication date: 1997-10-31

Abstract

(57)【要約】【課題】観察者の視点が任意方向に移動されても、そ
の移動に追随して立体画像を表示する画像処理装置を提
案する。【解決手段】エピポーラプレーンイメージ化された多
視点画像から生成されたパラメトリック画像データを読
出可能に記憶しておき、観察者が移動したときの目の位
置を検出し、検出された観察者の視点位置に基づいて、
該位置を視点とする再生画像を、記憶されたパラメトリ
ック画像データから内挿補間して生成する。

Description

【発明の詳細な説明】

【発明の属する技術分野】本発明は、観察者の現在の目
の位置等に応じた再生画像を出力するために必要なパラ
メトリック画像データを生成記憶する画像処理装置及び
画像処理方法、並びに、記憶されたパラメトリック画像
データから観察者の現在の目の位置等に応じた再生画像
を出力する画像処理装置及び画像処理方法に関するもの
である。

【従来の技術】従来、前もって得た複数の視点からの画
像に基づいて立体表示を行う装置として、ステレオディ
スプレイやレンチキュラーディスプレイなどがある。ス
テレオディスプレイは、２台のカメラから得られる左目
用画像と右目用画像とを交互に高速に切り替えて表示す
る。観察者は、この切り替えに同期するシャッターメガ
ネや偏光メガネを用いることにより、映像を立体的に観
察することができる。また、レンチキュラディスプレイ
は、例えば４台のカメラからの画像をそれぞれ画素単位
に並べ替え、この並べ替えた画像を前面にレンチキュラ
ーシートを張り付けた表示装置において表示する。観察
者は、レンチキュラーシート上に映じた４視点の映像の
２つを立体映像として見ることになる。また、４視点を
映じるレンチキュラーシートを用いれば、観察者は２つ
の異なる位置において立体視が可能になる。

【発明が解決しようとする課題】しかしながら、上述し
た従来の立体画像表示では、画像を撮影した時における
カメラの撮影方向と同じ方向（同じ視線）の立体像しか
観察することができなかった。すなわち、例えば２台の
カメラを固定して物体を撮影して２つの画像を得ても、
観察者が視点（目の位置）を移動しても見える画像は同
じである。たとえ観察者の側が視点を移動しても、その
移動が反映されないので臨場感に欠けるという問題点が
ある。尚、レンチキュラーディスプレイは、観察者の視
点の左右方向の移動に対応して立体視を維持することが
できるが、それは複数のカメラのどれかから見た画像を
とびとびに見るというものであって、連続的な視点移動
には対応できないうえに、前後方向への視点を移動させ
ることはできなかい。立体視を前後方向への視点移動に
ついても維持することに関して、コンピュータ・グラフ
ィックスで予め作成された画像を用いて立体視する場合
には可能であるが、これはコンピュータ・グラフィック
スという画像としては単純なものを、画像内の点の対応
する３次元空間内での座標値が全て明らかにしておくと
いう特殊な状況を満足させて初めて可能になるものであ
る。一方、複数の視点位置から撮影した画像をもとに、
撮影した位置とは異なった位置から撮影した画像を生成
する手段としてエピポーラ・プレーン・イメージ（以下
ＥＰＩと略す）を用いる方法がある。この方法は、第２
９図に示すように、予め複数の視点（第２９図の例では
４視点）からの画像を取り込んでおき、各画像中の同じ
水平位置にあるラインを抽出して１つの画像に合成し、
このＥＰＩ上で直線検出を行うことにより注目点に対応
する点（対応点）を求め、撮影した位置とは異なる位置
から撮影した場合に得られるであろう画像を内挿補間に
より生成するというものである。しかしながら、上記の
ＥＰＩを用いた従来例では観察者の動きに応じて滑らか
に変化する映像を得ることは困難であった。また、上記
従来例では視線方向は常に一定であり、対象物の横や後
方に回り込んで眺めることはできなかった。本発明は、
上記問題点に鑑みてなされたもので、観察者の目の位置
が任意に移動しても、移動した視点に応じた再生画像を
与えることができるようなパラメトリック画像データを
生成して記憶することの出来る画像処理方法及び画像処
理装置を提供することにある。本発明の他の目的は、観
察者の目の位置が任意に移動しても、移動した視点に応
じた再生画像を与えることができるようなパラメトリッ
ク画像データを生成して出力することの出来る画像処理
方法及び画像処理装置を提供することにある。

【課題を解決するための手段】上記課題を達成するため
に、本発明の請求項１に係る画像処理装置は、それぞれ
異なる位置から同じ被写体を撮像して得た複数の多視点
画像を入力する入力手段と、被写体のそれぞれの輝点に
ついて、前記輝点の対応点を前記複数の多視点画像に亙
って同定する同定手段と、個々の輝点毎に、輝点につい
て同定された対応点を表すパラメトリック画像データを
生成する生成手段と、生成されたパラメトリック画像デ
ータを記憶する記憶する記憶手段とを有することを特徴
とする。同課題を達成するための、他の構成を有すると
ころの、請求項２に係る本発明の画像処理装置は、それ
ぞれ異なる位置から同じ被写体を撮像して得た複数の多
視点画像を入力する入力手段と、被写体のそれぞれの輝
点について、前記輝点の対応点を前記複数の多視点画像
に亙って同定する同定手段と、個々の輝点毎に、輝点に
ついて同定された対応点を表すパラメトリック画像デー
タを生成する生成手段と、生成されたパラメトリック画
像データと対応する輝点の画素値とを記憶する記憶する
記憶手段とを有する。同課題を達成するための、他の構
成を有するところの、請求項３に係る本発明の画像処理
装置は、それぞれ異なる位置から同じ被写体を撮像して
得た複数の多視点画像を入力する入力手段と、被写体の
それぞれの輝点について、前記輝点の対応点を前記複数
の多視点画像に亙って同定する同定手段と、個々の輝点
毎に、輝点について同定された対応点を表すパラメトリ
ック画像データを生成する生成手段と、生成されたパラ
メトリック画像データを解像度に応じて階層化する手段
と、階層化されたパラメトリック画像データを記憶する
記憶する記憶手段とを有する。本発明の好適な一態様で
ある請求項４に拠れば、前記パラメトリック画像データ
は、個々の輝点について同定された対応点の軌跡を近似
表現する直線の傾き及び切片である。本発明の好適な一
態様である請求項５に拠れば、前記入力手段は、予め多
数の方向から撮影された画像を格納したデータベースか
ら前記多視点画像を入力することを特徴とする。本発明
の好適な一態様である請求項６に拠れば、前記入力手段
は、１台以上のカメラから前記多視点画像を入力するも
のであることを特徴とする。本発明の好適な一態様であ
る請求項７に拠れば、前記同定手段は、前記複数の多視
点画像から夫々のエピポーラ・プレーン画像を抽出し、
抽出したエピポーラ・プレーン画像上で対応点を同定す
ることを特徴とする。本発明の好適な一態様である請求
項８に拠れば、前記同定手段は、前記多視点画像データ
中で平面状軌跡を検出することを特徴とする。本発明の
好適な一態様である請求項９に拠れば、前記生成手段
は、対応点を表すパラメトリック画像データを量子化す
ることを特徴とする。本発明の好適な一態様である請求
項１０に拠れば、前記生成手段は、検出された傾きを量
子化することを特徴とする。本発明の好適な一態様であ
る請求項１１に拠れば、前記生成手段は、同定された輝
点の画素値を差分符号化することを特徴とする。本発明
の好適な一態様である請求項６に拠れば、前記階層化手
段は、輝点について同定された対応点を表すパラメトリ
ック画像データを、異なる解像度毎に別個に生成するこ
とを特徴とする。本発明の好適な一態様である請求項１
３に拠れば、さらに、各輝点についてのパラメトリック
画像データ及び画素値を圧縮する圧縮手段を具備するこ
とを特徴とする。本発明の好適な一態様である請求項１
４に拠れば、前記圧縮手段は、各輝点についてのパラメ
トリック画像データ及び画素値に対してそれぞれ異なる
圧縮を施すことを特徴とする。本発明の好適な一態様で
ある請求項１５に拠れば、前記圧縮手段は、基準撮像面
の各ラスタを一方の軸とし、もう一方の直交する軸を対
応点の軌跡が形成する直線の傾きとした場合に構成され
る複数の平面の相関を用いて圧縮を施すことを特徴とす
る。本発明の好適な一態様である請求項１６に拠れば、
前記階層化手段は、パラメトリック画像データを記録す
る空間の解像度を多段階に順に下げて階層化することを
特徴とする。上記課題を達成するための本発明の請求項
１７に係る画像処理装置は、エピポーラプレーンイメー
ジ化された多視点画像から生成されたパラメトリック画
像データを読出可能に記憶する記憶手段と、観察者の目
の位置を検出する検出手段と、前記検出手段で検出され
た観察者の視点位置に基づいて、該位置を視点とする再
生画像を、前記記憶手段から読み出したパラメトリック
画像データから生成する画像生成手段と、生成された画
像を出力する画像出力手段を備えたことを特徴とする。
上記課題を達成するための本発明の請求項１８に係る画
像処理装置は、エピポーラプレーンイメージ化された多
視点画像から所定の圧縮方法により圧縮されて生成され
たパラメトリック画像データを読出可能に記憶する記憶
手段と、観察者の目の位置を検出する検出手段と、前記
検出手段で検出された観察者の視点位置に関連するパラ
メトリック画像データを全記憶手段から読み出して伸張
する伸張手段と、前記検出手段で検出された観察者の視
点位置を視点とする再生画像を、前記記憶手段から読み
出した前記パラメトリック画像データから生成する画像
生成手段と、生成された再生画像を出力する画像出力手
段を備えたことを特徴とする。本発明の好適な一態様で
ある請求項１９の画像処理装置に拠れば、前記パラメト
リック画像データは、前もって、それぞれ異なる位置か
ら同じ被写体を撮像して得た複数の多視点画像から、前
記被写体のそれぞれの輝点の、前記複数の多視点画像に
亙る軌跡を表すものとして得たパラメトリック画像デー
タデータである。本発明の好適な一態様である請求項２
０の画像処理装置に拠れば、前記検出手段はさらに観察
者の視線を検出し、前記画像生成手段は、前記再生画像
を、前記検出手段が検出した視点位置と視線とに基づい
て、前記記憶手段から読み出したパラメトリック画像デ
ータから生成することを特徴とする。本発明の好適な一
態様である請求項２１の画像処理装置に拠れば、前記画
像出力手段は表示装置であることを特徴とする。本発明
の好適な一態様である請求項２２の画像処理装置に拠れ
ば、前記画像生成手段は、パラメトリック画像データ中
の直線状軌跡データに対応する３次元空間内の輝点を画
像面上に投影することを特徴とする。本発明の好適な一
態様である請求項２３の画像処理装置に拠れば、前記画
像生成手段は、パラメトリック画像データ中の平面状軌
跡データに対応する３次元空間内の輝点を画像面上に投
影することを特徴とする。本発明の好適な一態様である
請求項２４の画像処理装置に拠れば、前記画像生成手段
が生成した画像のゆがみを補正する歪み補正手段をさら
に備えたことを特徴とする。本発明の好適な一態様であ
る請求項２５の画像処理装置に拠れば、前記表示装置は
ステレオディスプレイであることを特徴とする。本発明
の好適な一態様である請求項２６の画像処理装置に拠れ
ば、前記表示装置は円弧状の表示面をもつディスプレイ
であることを特徴とする。本発明の好適な一態様である
請求項２７の画像処理装置に拠れば、前記画像生成手段
は、検出された視線に基づいて処理範囲を視線方向に限
定することを特徴とする。本発明の好適な一態様である
請求項２８の画像処理装置に拠れば、前記検出手段は、
観察者の目の位置を、前記多視点画像の撮像方向に平行
な方向で検出し、前記画像生成手段は、前記観察者の目
の検出された方向の位置を視点とする再生画像を、前記
記憶手段から読み出したパラメトリック画像データから
生成することを特徴とする。本発明の好適な一態様であ
る請求項２９の画像処理装置に拠れば、前記検出手段
は、観察者の目の位置を、前記多視点画像の撮像方向に
平行な第１の方向と、この第１の方向に垂直な方向であ
って水平面内に含まれる第２の方向とで検出し、前記画
像生成手段は、前記観察者の目の検出された前記第１の
方向と第２の方向における位置を視点とする再生画像
を、前記記憶手段から読み出したパラメトリック画像デ
ータから生成することを特徴とする。本発明の好適な一
態様である請求項３０の画像処理装置に拠れば、前記検
出手段は、観察者の目の位置を、前記多視点画像の撮像
方向に平行な第１の方向と、この第１の方向に垂直な方
向であって水平面内に含まれる第２の方向と、前記第１
と第２の方向に垂直な第３の方向とで検出し、前記画像
生成手段は、前記観察者の目の検出された前記第１の方
向と第２の方向と第３の方向とにおける位置を視点とす
る再生画像を、前記記憶手段から読み出したパラメトリ
ック画像データから生成することを特徴とする。上記課
題を達成するための請求項３１に係る画像処理装置は、
それぞれ異なる位置から同じ被写体を撮像して得た複数
の多視点画像を入力する入力手段と、被写体のそれぞれ
の輝点について、前記輝点の対応点を前記複数の多視点
画像に亙って同定する同定手段と、個々の輝点毎に、輝
点について同定された対応点を表すパラメトリック画像
データを生成する生成手段と、生成されたパラメトリッ
ク画像データを記憶する記憶手段観察者の目の位置を検
出する検出手段と、前記検出手段で検出された観察者の
視点位置に基づいて、該位置を視点とする再生画像を、
前記記憶手段から読み出したパラメトリック画像データ
基づいて生成する画像生成手段とを具備する。本発明の
好適な一態様である請求項３２の画像処理装置に拠れ
ば、前記画像出力装置の解像度を検出する手段をさらに
有し、前記生成手段は、輝点について同定された対応点
を表すパラメトリック画像データを、異なる解像度毎に
別個に生成し、前記記憶手段は解像度毎に生成されたパ
ラメトリック画像データを記憶する生成されたパラメト
リック画像データを記憶し、前記画像生成手段は、検出
された解像度に応じて、前記記憶手段から読み出すパラ
メトリック画像データデータを制御することを特徴とす
る。本発明の好適な一態様である請求項３３の画像処理
装置に拠れば、前記画像生成手段は検出された視点位置
に基づいて、前期パラメトリック画像データに対して内
挿処理を行うことを特徴とする。上記課題を達成するた
めの本発明の画像処理方法は、それぞれ異なる位置から
同じ被写体を撮像して得た複数の多視点画像を入力する
入力工程と、被写体のそれぞれの輝点について、前記輝
点の対応点を前記複数の多視点画像に亙って同定する同
定工程と、個々の輝点毎に、輝点について同定された対
応点を表すパラメトリック画像データを生成する生成工
程と、生成されたパラメトリック画像データを記憶する
記憶工程と、観察者の目の位置を検出する検出工程と、
検出された観察者の視点位置に基づいて、該位置を視点
とする再生画像を、前記記憶手段から読み出したパラメ
トリック画像データから生成し、その再生画像を出力す
る出力工程とを備えたことを特徴とする。本発明の好適
な一態様である請求項３５の画像処理方法に拠れば、前
記記憶工程において、個々の輝点毎に、輝点について同
定された対応点を表すパラメトリック画像データと、当
該輝点の画素データとを併せて記憶し、前記画像生成工
程において、検出された視点に対応するパラメトリック
画像データに対して、内挿補間処理を行う。本発明の好
適な一態様である請求項３６の画像処理方法に拠れば、
さらに、生成されたパラメトリック画像データを解像度
に応じて階層化する階層化工程を有する。本発明の好適
な一態様である請求項３７の画像処理方法に拠れば、前
記パラメトリック画像データは、個々の輝点について同
定された対応点の軌跡を近似表現する直線の傾き及び切
片である。本発明の好適な一態様である請求項３８の画
像処理方法に拠れば、前記入力工程では、予め多数の方
向から撮影された画像を格納したデータベースから前記
多視点画像を入力する。本発明の好適な一態様である請
求項３９の画像処理方法に拠れば、前記入力工程は、１
台以上のカメラから前記多視点画像を入力する。本発明
の好適な一態様である請求項４０の画像処理方法に拠れ
ば、前記同定工程は、前記複数の多視点画像から夫々の
エピポーラ・プレーン画像を抽出し、抽出したエピポー
ラ・プレーン画像上で対応点を同定する。本発明の好適
な一態様である請求項４１の画像処理方法に拠れば、前
記同定工程は、前記多視点画像データ中で平面状軌跡を
検出する。本発明の好適な一態様である請求項４２の画
像処理方法に拠れば、前記生成工程は、対応点を表すパ
ラメトリック画像データを量子化する。本発明の好適な
一態様である請求項４３の画像処理方法に拠れば、前記
生成工程は、検出された傾きを量子化する。本発明の好
適な一態様である請求項４４の画像処理方法に拠れば、
前記生成工程は、同定された輝点の画素値を差分符号化
する。本発明の好適な一態様である請求項４５の画像処
理方法に拠れば、前記階層化工程は、輝点について同定
された対応点を表すパラメトリック画像データを、異な
る解像度毎に別個に生成する。本発明の好適な一態様で
ある請求項４６の画像処理方法に拠れば、さらに、各輝
点についてのパラメトリック画像データ及び画素値を圧
縮する圧縮工程を具備する。本発明の好適な一態様であ
る請求項４７の画像処理方法に拠れば、前記圧縮工程
は、各輝点についてのパラメトリック画像データ及び画
素値に対してそれぞれ異なる圧縮を施す。本発明の好適
な一態様である請求項４８の画像処理方法に拠れば、前
記圧縮工程は、基準撮像面の各ラスタを一方の軸とし、
もう一方の直交する軸を対応点の軌跡が形成する直線の
傾きとした場合に構成される複数の平面の相関を用いて
圧縮を施す。本発明の好適な一態様である請求項４９の
画像処理方法に拠れば、前記階層化工程は、パラメトリ
ック画像データを記録する空間の解像度を多段階に順に
下げて階層化する。

【作用】請求項１による画像処理装置によれば、記憶手
段に、多視点画像の輝点について同定された対応点を表
すパラメトリック画像データを記憶せしめるので、この
記憶手段のパラメトリック画像データを用いた画像再生
が可能となる。請求項２による画像処理装置によれば、
記憶手段に、多視点画像の輝点について同定された対応
点を表すパラメトリック画像データと、同輝点の画素値
とを記憶せしめるので、この記憶手段のパラメトリック
画像データを用いた画像再生が可能となる。請求項３に
よる画像処理装置によれば、記憶手段に、多視点画像の
輝点について同定された対応点を表すパラメトリック画
像データを解像度に応じて階層化して記憶せしめるの
で、この記憶手段のパラメトリック画像データを用いる
ことにより、再生側の出力手段の解像度に応じた画像再
生が可能となる。請求項４による画像処理装置によれ
ば、多視点画像は所定の直線方向に沿って撮影するの
で、直線によってパラメータ化するのが好適である。請
求項５，６の画像処理装置によれば、多視点画像は、デ
ータベース、または１台以上のカメラから得られたもの
である。請求項７の画像処理装置に拠れば、エピポーラ
プレーン画像は直線抽出に好適である。請求項８の画像
処理装置に拠れば、観察者が上下方向に移動したときに
も追随が可能なパラメトリック画像データを生成するこ
とが出来る。請求項９の画像処理装置に拠れば、対応点
を表すパラメトリック画像データを量子化することによ
りデータ量を圧縮する。請求項１０の画像処理装置に拠
れば、量子化対象は検出された傾きである。請求項１１
の画像処理装置に拠れば、同定された輝点の画素値が差
分符号化される。請求項１２の画像処理装置に拠れば、
パラメトリック画像データを異なる解像度毎に別個に生
成するので、再生手段である出力装置の解像度に応じた
パラメトリック画像データを生成することが出来、高速
化に寄与する。請求項１３の画像処理装置に拠れば、さ
らに、各輝点についてのパラメトリック画像データ及び
画素値を圧縮する圧縮手段を具備することを特徴とす
る。請求項１４の画像処理装置に拠れば、各輝点につい
てのパラメトリック画像データ及び画素値に対してそれ
ぞれ異なる圧縮を施す。パラメトリック画像データと画
素値とは物理的性質が異なるために、その性質にあった
圧縮が好ましい。請求項１５の画像処理装置に拠れば、
基準撮像面の各ラスタを一方の軸とし、もう一方の直交
する軸を対応点の軌跡が形成する直線の傾きとした場合
に構成される複数の平面の相関を用いて圧縮を行うの
で、圧縮効率が上がる。請求項１６の画像処理装置に拠
れば、パラメトリック画像データを記録する空間の解像
度を多段階に順に下げて階層化するので、記録効率が上
昇する。請求項１７の画像処理装置に拠れば、観察者の
任意の移動に対しても、その移動にあった再生画像が出
力される。請求項１８の画像処理装置に拠れば、記憶容
量の低減と、観察者の任意の移動を確保することの両立
が図れる。請求項１９の画像処理装置に拠れば、前記パ
ラメトリック画像データは、前もって、それぞれ異なる
位置から同じ被写体を撮像して得た複数の多視点画像か
ら、前記被写体のそれぞれの輝点の、前記複数の多視点
画像に亙る軌跡を表すものとして得たパラメトリック画
像データデータである。請求項２０の画像処理装置に拠
れば、観察者は、その位置のみならず、視線方向も移動
させることが許される。請求項２１の画像処理装置に拠
れば、前記画像出力手段は表示装置である。請求項２２
の画像処理装置に拠れば、パラメトリック画像データ中
の直線状軌跡データに対応する３次元空間内の輝点が画
像面上に投影される。請求項２３の画像処理装置に拠れ
ば、パラメトリック画像データ中の平面状軌跡データに
対応する３次元空間内の輝点が画像面上に投影される。
請求項２４の画像処理装置に拠れば、例えば、画像再生
に際して、奥行き方向もしくは上下方向の視点移動を考
慮することにより、再生画像のゆがみを補正する。請求
項２５，２６の画像処理装置に拠れば、前記表示装置は
ステレオディスプレイまたは円弧状の表示面をもつディ
スプレイである。請求項２７の画像処理装置に拠れば、
検出された視線に基づいて処理範囲を視線方向に限定す
ることにより処理速度の向上を図る。請求項２８の画像
処理装置に拠れば、観察者の１次元の任意の移動に対し
てなめらかな再生が可能となる。請求項２９の画像処理
装置に拠れば、観察者の２次元の任意の移動に対してな
めらかな再生が可能となる。請求項３０の画像処理装置
に拠れば、観察者の３次元の任意の移動に対してなめら
かな再生が可能となる。請求項３１の画像処理装置に拠
れば、観察者の任意の移動に対してなめらかな再生画像
を得ることが出来る。請求項３２の画像処理装置に拠れ
ば、解像度毎に階層化されたパラメトリック画像データ
を用いて、出力装置の解像度に適した画像再生を高速に
行うことが出来る。請求項３３の画像処理装置に拠れ
ば、内挿処理により視点位置の移動に対処する。

【発明の実施の形態】次に、添付図面を参照しながら本
発明の実施形態について説明する。〈原理〉第１図は本発明の画像処理装置を適用した立体
視システム構成を示す図である。第１図のシステムは本
発明の全ての実施形態に共通である。図中、２１は投影
する被写体（この例では、円板の上に球体と三角錐が載
せられている）、２２ａ〜２２ｆは折れ線状に並べられ
た多眼カメラ、１００は本システムの中核をなす画像処
理装置、７０は画像処理装置１００が出力する多視点画
像を表示するための視点検出器８０つき表示スクリーン
である。尚、このシステムにおいては、表示スクリーン
７０に表示する画像を高速に切り替えたり、あるいは所
謂パララックスバリア方式を採用しても良い。パララッ
クスバリア方式を採用する場合には、メガネ形状の検出
器８０のレンズ部分には偏光フィルタなどを用いる。画
像の切換方式を採用する場合には、視点位置検出器８０
は単にメガネの形状をしているだけで、センサを人間の
頭部に固定するために機能する。画像処理装置１００
（他の実施形態の画像処理装置も）はＥＰＩを用いる。
ＥＰＩについて第２図，第３図を用いて説明する。ＥＰ
Ｉとは、他眼カメラ２２によって各視点から撮影された
画像から、各画像における同じ位置にあるラインを集
め、それらを視点順に並べることによって構成された画
像である。例えば、第２図のように、異なる視点位置の
複数のカメラ（第２図の例では４つ）により、あるいは
多眼カメラにより１つの被写体を撮像すると、画像１〜
４が得られる。これらの画像の夫々において、同じ水平
ラインに注目する。多眼カメラ２２は水平面上に並んで
いるので、この水平ライン上にのった被写体上の同じ輝
点（第２図において黒の矩形で表す）は、視点位置に応
じて、個々の水平ライン上において水平方向にずれた位
置をとる。第２図に示すように、カメラの視点の移動方
向にＸ軸を取り、このＸ軸に垂直にカメラの光軸方向に
Ｚ軸をとり、カメラの画像空間にｘ軸をとると、第３図
に示すように、横軸ｘが輝点の水平表示位置を示すよう
に、縦軸Ｘが視点位置を示すように、ｘ軸，Ｘ軸をとる
と、ある水平ライン上に載った１つの輝点の像（即ちＥ
ＰＩ）は第３図の点の集合、即ち、ある傾きｋと切片ｘ
₀を有する直線となる。

【数１】第３図において、切片ｘ₀は、最も左のカメラ（視点位
置Ｘ＝０）によって得られた画像の表示値を示す。従っ
て、この直線が表す輝点の位置は、カメラ２２の光学系
の焦点距離をｆ、カメラ２２のイメージセンサの画素ピ
ッチをｐとして座標系ＸＺで表すと、第５図に示すよう
に、

【数２】

【数３】が得られる。式１は、ある輝点の表示位置ｘは、離散的
な視点Ｘ（Ｘ₁，Ｘ₂，…）から得られるだけでなく、
視点Ｘの値が任意の値、即ち、観察者がカメラ視点以外
の位置Ｘにいる場合にも、表示位置ｘを演算できること
を意味する。この演算は内挿補間処理による。尚、カメ
ラから遠い被写体の多視点画像をとった場合、その被写
体上の一点である輝点位置は、視点位置の変化に対し
て、水平方向の変化が少ない。従って、このような被写
体のＥＰＩにおける直線の傾きは垂直に近くなる。即
ち、観察者が後方に移動した場合に対応する多視点画像
のＥＰＩは急峻な傾きｋを有するものであり、観察者が
前方に移動した場合に対応する多視点画像のＥＰＩは緩
い傾きを有するものである。また、手前にある輝点の直
線軌跡が、奥にある輝点の直線軌跡を多い隠すという、
オクルージョン関係も存在する。従って、ある輝点の多
視点画像は、その輝点の多視点画像におけるＥＰＩ上に
おいて、直線の傾きｋと横軸ｘとの切片ｘ₀とによって
定義される。換言すれば、１つの輝点の複数の多視点画
像データは、その輝点の画素値（濃度値もしくは色デー
タ値）と共に、データｋとｘ₀とに圧縮されることにな
る。１つのＥＰＩには、通常、複数の輝点が含まれる。
従って、第３図の直線を抽出するためには、複数の画像
データの中から、同じ輝点に由来するものだけを同定し
なければならない。この同定の処理を、本実施形態で
は、輝点に対応する複数の点によって表される軌跡を検
出するという意味で、「対応点軌跡の検出」と呼ぶ。ま
た、検出された軌跡を表す直線のデータ、上述のｋと
ｘ₀とを「軌跡データ」と呼ぶ。尚、軌跡データには、
後述するように、「奥行きデータ」も含まれる。第４図
に画像処理装置１００における処理の概略を示す。第４
図中、カメラ２２からの多視点画像に基づいて、対応点
の軌跡が検出され、続いて軌跡データに圧縮される。即
ち、被写体の全ての輝点についての軌跡データが得られ
る。これらの軌跡データはパラメトリックデータとして
ファイルに記憶される。以上が、多視点画像を取得し、
それをパラメトリックデータとしての記憶するまでの処
理である。実際に立体視するときは、観察者の視点に応
じて多視点画像データを補正しなければならないから、
その補正処理、即ち内挿処理が第４図に示されている。
即ち、立体視を行うときは、ファイルからパラメトリッ
クデータが読み取られ、軌跡データに伸張される。その
上で、検出器８０によって検出された観察者の視点が入
力されて、内挿処理が行われる。この内挿処理は、視点
位置の変化に応じてリアルタイムで行われる必要がある
ために、本実施形態では「オンデマンド内挿表示」処理
と呼ぶ。これから説明する実施形態に係る画像処理装置
は、軌跡の検出に特徴ある処理を行うもの、或いは内挿
処理に特徴ある処理を行うものが含まれる。〈第１実施形態〉第６図は第１実施形態の画像処理装置
１００の構成、即ち、対応点軌跡検出部５０とオンデマ
ンド内挿表示部６０の構成を示す図である。先ず、対応
点軌跡検出部５０について説明する。図中、画像メモリ
１１は、多眼カメラ２２によって撮影した複数の画像を
記憶する。メモリ１１の記憶データは、左右に直線上に
並んだ多数の視点から得た被写体の多視点画像である。
対応点軌跡判定部１２はメモリ１１中の多視点画像をス
キャンし、直線状の軌跡を有する輝点像を探索する。こ
の探索は係数制御部１３から送られてくる係数によって
制御される。メモリ１４は、軌跡判定部１２が検出した
輝点ｎの軌跡の係数（ｋ_nとｘ_0n）および同輝点ｎの濃
淡値Ｄ_nを記憶する。係数制御部１３が生成する係数
は、１組の傾きｋと切片ｘ₀の値である。前述したよう
に、被写体の１つの輝点のＥＰＩは、傾きｋと切片のｘ
₀によって定義できるので、判定部における探索は、係
数制御部１３から送られてくる１組の傾きｋと切片ｘ₀
によって定義される直線に載るような輝点の画像を探索
することに等しい。軌跡判定部１２における判定には２
つの閾値が用いられる。この閾値を制御するのが閾値制
御部１５である。メモリ１６は、軌跡判定部１２が検出
した対応点軌跡の画像中での位置と検出した条件とを保
持する。データ出力部１７はメモリ１４に記憶された対
応点軌跡係数を出力する。オンデマンド内挿表示部６０
は、データ入力部３０と、対応点軌跡内挿部３１と、画
像表示部３３と、視点位置入力部３２とを有する。デー
タ入力部１１０はパラメトリックデータをファイル４０
から入力する。対応点軌跡内挿部３１は、観察者の実際
の視点位置（視点位置入部３２が検出器８０から入力し
た）にもとづいてデータ入力部３０の対応点軌跡を内挿
することにより、その視点から見える画像を生成する。
こうして生成された立体画像は画像表示部３３によりス
クリーン７０に表示される。次に、対応点軌跡内挿部３
１の動作をくわしく説明する。対応点軌跡内挿部３１は
視点検出器８０から左右方向の視点位置Ｘ_pを得る。も
し、視点位置Ｘ_pがカメラの位置に等しいならば、ファ
イル４０のパラメトリックデータ（軌跡係数と濃淡値情
報Ｄとからなる）の各水平ライン上のすべての輝点につ
いて、式１に基づいて、画像中の水平方向の表示位置を
算出し、その表示位置に輝点の濃淡値Ｄを描画する。結
果として。視点位置に対応した画像が１枚生成される。
視点位置Ｘ_pがカメラの位置に等しくない場合、即ち、
観察者の視点が任意の位置にある場合について説明す
る。ここで、第７図に示すように、横方向視野角をｆ_ov
とし、ある水平ライン中のある輝点（Ｘ_I，Ｚ_I）の水平
方向の表示位置をｘとすると、

【数４】で表される。なお、表示スクリーン７０および画像表示
部３３に、レンチキュラ方式やメガネ方式などの両眼立
体視が可能な立体表示スクリーン及び立体画像表示部を
用い、かつ、視点位置入力部３２が左右おのおのの目の
位置に対応する視点パラメータを算出し、これに対応し
て対応点軌跡内挿部３１が左右おのおのの目に提示する
ための画像を生成することにより、カメラ列状において
視点移動可能な両眼立体表示装置となる。また、第１図
のように、多眼カメラ２２を被写体２１の周りを囲む円
周状に並べ、表示スクリーン７０を円形上のディスプレ
イにすることで、全周方向からの映像を眺めることがで
きる。〈第１実施形態の第１変形例〉第１実施形態の立体視シ
ステムは、観察者の視点が、多眼カメラの撮影方向（方
向が既知であれば、直線状あるいは曲線状であるを問わ
ない）に平行に移動する場合において、立体視が維持で
きるものであった。次に、本発明を、前後左右に視点移
動が可能であり、かつ、任意視線方向を眺めることので
きる画像処理装置に適用した第１実施形態の第１変形例
を示す。第１変形例では、第１実施形態の視点検出器８
０を観察者の目の位置及び視線方向を検出できる視線検
出器に置き換える。また、これに伴い視点位置入力部３
２に関しても、観察者の目の位置及び視線方向に対応し
た視線情報を対応点軌跡内挿部３１へ送るものに置き換
える。さらに、対応点軌跡内挿部３１の投影処理を以下
に説明する処理に置き換える。第８図は第１変形例の画
像処理装置の対応点軌跡内挿部３１の投影計算の算出原
理を示す図である。第１変形例においては、観察者のＺ
方向への移動に追随して立体視を許すために、第８図に
示すように、２つのカメラ列を設け、その２列のカメラ
列の交点Ｂの座標を（Ｘ_B，Ｚ_B）とする。図中、Ｐは観
察者の視点の位置（Ｘ_p，Ｚ_p）を示し、観察者はＺ軸に
対してθ°、そして直線ＰＢからはα度だけずれた視線
方向を見つめているとする。ただし、ファイル４０に
は、パラメトリックデータとして、カメラ列１により撮
影された画像から得られる輝点データとカメラ列２より
撮影された画像から得られる輝点データとが保持されて
いるものとする。観察者が視点位置Ｐから視線方向θを
眺めている場合には、第８図に示すように、表示面を左
右２つの領域９０，９１に分け、画像の右側領域９１に
はカメラ列１により得られた輝点データにより輝点を投
影し、画像の左側領域９２はカメラ２により得られた輝
点データにより輝点を投影する。これにより、観察者の
視点位置、及び、視点方向に対応した１枚の画像が生成
される。ここで、第１実施形態と同じように、ある水平
ライン中のある輝点の水平方向の表示位置をｘ、視点位
置を（Ｘ_p，Ｚ_p）、横方向視野角をｆ_ovとすると、表示
位置ｘは以下の５式で算出する。

【数５】以上の動作により、カメラ列を円弧状に組み合わせるこ
とで、保持されている各画像を撮影した視点以外の場所
に観察者が移動しても、すなわち多眼カメラ２２の視点
以外の前後左右の場所に観察者が移動しても、さらに
は、観察者が任意視線方向に視線を移動した場合でも、
対応した対象物の画像を表示スクリーン７０を通して眺
めることができる。第１変形例では、入力画像に上下方
向の視差がないため、前後の視点移動に対して生成され
る画像には上下方向の歪みが生じる。被写体までの距離
に応じて、画像の表示時に、上下方向に拡大縮小変換を
行うことによりこの歪みを目立たなく補正することがで
きる。〈第１実施形態の第２変形例〉次に、第１実施形態の処
理を高速に行う変形例を第２変形例として示す。第２変
形例では、第１変形例の対応点軌跡内挿部３１の投影処
理を第９図に説明するものに置き換える。第９図におい
て、生成像の左右２つの領域について、それぞれ画像生
成に必要な輝点の領域を示している。第１変形例におい
ては、輝点を投影する際に全ての輝点を描画するが、第
２変形例においては、図に示すように、輝点の集合をい
くつかのブロック領域に領域分割し、視野に含まれる領
域内の点のみを描画し、視野からはみ出る領域内の点は
描画しないようにする。この処理により、画像を生成す
る上で不必要な輝点の投影処理を省くことができるた
め、本実施形態では高速に対応輝点投影処理を行うこと
ができ、よりスムーズな視線変化が可能になる。〈第１実施形態の第３変形例〉次に、本発明を、前後上
下方向に視点移動可能な画像処理装置に適用した第３変
形例を示す。第３変形例では、第２変形例の対応点軌跡
検出部１８の検出処理、オンデマンド内挿表示部６０の
投影処理を以下に説明する処理に置き換える。まず、対
応点軌跡検出部１８の動作を説明する。第３変形例で
は、メモリ１１の入力画像は、左右上下に平面状に並ん
だ視点から撮影された画像である。このため、ある輝点
の像の軌跡は、入力多視点画像保持部１１の多視点画像
がなす４次元画像空間中の平面となる。したがって、対
応点軌跡判定部１２の対応点軌跡判定処理は、この入力
４次元画像空間中の平面判定処理に等しい。左右方向及
び観察者の見つめる方向を、第１実施形態と同じよう
に、Ｘ軸、Ｚ軸をとり、さらに、上下方向にＹ軸をとる
と、前記４次元空間は、ＸＹＺの三次元と、表示位置の
ｘ軸の４次元空間である。輝点位置を表す平面は以下の
６式で表される。

【数６】ここで、視点位置、軌跡上の輝点位置、軌跡の位置、傾
きは、それぞれ（Ｘ_p，Ｙ_p）、（Ｘ_I，Ｙ_I）、（ｘ₀，ｙ₀）、ｋである。第３変形例の軌跡係数制御部１３の算出する軌
跡係数は、平面の位置と傾きを示す（ｘ₀，ｙ₀，ｋ）の
３つの係数の組みとなる。対応点軌跡判定部１２は軌跡
係数制御部１３および判定しきい値制御部１５に順次制
御され、画像空間中で平面上の軌跡を判定し、検出した
平面の係数を検出軌跡記憶部１４に記憶する。データ出
力部１７によって出力されるパラメトリックデータは、
検出された平面上軌跡の枚数分の、輝点の座標値であ
る。ここで、焦点距離をｆ、画像ピッチをｐとすると、
この平面に対応する輝点の座標（Ｘ_I，Ｙ_I，Ｚ_I）は以
下の７式で算出する。

【数７】次に本実施形態のオンデマンド内挿表示部５０の処理に
ついて説明する。対応点軌跡内挿部３１は、視点位置を
（Ｘ_p，Ｙ_p，Ｚ_p）、横方向視野角をそれぞれｆ_ovx、ｆ
_ovyとすると、パラメトリックデータの輝点の表示位置
（ｘ，ｙ）を以下の８式を用いて計算する。

【数８】第３変形例では、入力画像が上下方向の視差を持つた
め、第１変形例、および第２変形例で生じたような上下
方向の画像の歪みを生じない。〈更なる変形例〉以上の実施形態及び変形例では、あら
かじめ撮影された多視点画像が入力多視点画像保持部１
１に保持されている構成としたが、これを、多視点画像
を実時間で取り込むことのできる多眼テレビカメラに置
き換えることにより、実時間の任意視線画像撮影・表示
システムとなる。さらに、パラメトリックデータ１９を
通信データとして遠隔端末間でやり取りする場合、実時
間の任意視線画像通信システムとなる。なお、本発明は
単体の画像処理装置に適用しても良いし、多視点テレ
ビ、多視点テレビ電話端末や多視点テレビ会議システム
のようなシステム機器に適用しても良いし、コンピュー
タや他の画像処理装置と組み合わせた復号装置にも適用
できる。前記第１実施形態とその３つの変形例は本発明
の基本的な実施形態である。これから説明する第２実施
形態は主に、前記第１実施形態に対する圧縮処理の改良
に関するものである。〈第２実施形態〉第２実施形態の画像処理装置の構成を
第１０図に示す。第２実施形態のシステム構成は、第１
実施形態のそれ（第４図）に対して、対応点の軌跡デー
タを圧縮する軌跡データ圧縮部１１０と圧縮された軌跡
データを伸張する軌跡データ伸張部１２０が付加されて
いる点を除けば同じであって、例えば、ＥＰＩを用いる
点も共通している。先ず、軌跡データ圧縮部１２０の構
成について説明する。軌跡データ圧縮部１１０は、軌跡
検出部５０とファイル４０との間におかれ、検出部５０
内の検出軌跡メモリ２４のデータを圧縮してファイル４
０に送る。第１１図は、第２実施形態の軌跡検出部５０
の構成を示す。第１２図は第２実施形態の画像処理装置
の軌跡データ圧縮部１１０の構成を示す図である。図
中、分解部１１１は、対応点軌跡検出部５０のメモリ２
４から出力される直線データを、後述するＸＫ平面上で
の輝点位置データ（ｋ_n，ｘ_0n）と輝点の濃淡値データ
（Ｄ_n）とに分解し、前者を輝点位置符号化部１１２
に、後者を輝点濃淡値符号化部１１３に送る。輝点位置
符号化部１１２は直線データ分解部１１１で得られた輝
点位置データ（ｋ_n，ｘ_0n）を符号化する。輝点濃淡値
符号化部１１３は輝点濃淡値データ（Ｄ_n）を符号化す
る。符号化データ統合部１１４は輝点位置符号化部１１
２と輝点濃淡値符号化部１１３で符号化されたデータを
統合してファイル４０に出力する。軌跡データ圧縮部１
１０の動作を説明する。メモリ２４に記憶されているデ
ータは、直線の切片位置ｘ_0nと傾きｋ_nと色Ｄ_nの組みで
ある。入力されたこれらのデータは、直線データ分解部
４１においてＸＫ平面上での輝点位置データと輝点の濃
淡値データに分解される。ここでいうＸＫ平面とは、第
１３図に示すように、直線の位置（Ｘ）と傾き（Ｋ）を
それぞれ直交する軸にとった平面のことである。１つの
軌跡を表す直線データは、ＸＫ平面上では濃淡値Ｄ_nを
持った点として表すことができる。もしＥＰＩの個数が
仮に４８０とすれば、ＸＫ平面には４８０個の点が存在
する。直線データ分解部１１１は、直線で多をＸＫ平面
上で輝点位置データに分解する。輝点位置データに分解
するとは、各ＥＰＩ上で検出されたすべての直線データ
をＸＫ平面上にマッピングし、このＸＫ平面を所定の分
解能で離散化（量子化）して、この平面上に点が存在す
るかどうかを１／０で表すということである。第１３図
の軌跡データを離散化した結果を第１４図に示す。第２
実施形態の量子化の根拠を説明する。第２実施形態の対
応点軌跡検出部４２（第１１図）は、直線の傾きを検出
する際に、傾きの最小ステップＳ幅を設定する。この最
小ステップ幅の値からＸＫ平面での輝点間の最小間隔を
決定することができる。直線データ分解部１１１がこの
決定した最小間隔で平面を離散化（量子化）することに
より、量子化で失われる情報量を少なくすることが出来
る。また、量子化された輝点の存在範囲は、検出された
直線から予め分かるので、すべての輝点を包括する最小
の矩形で平面をクリッピングすることができる。輝点の
存在する領域だけを処理対象とすることで、輝点位置の
データ量を低減することができる。第１５図はＸＫ平面
の離散化・グリッピング処理を示している。矩形領域
は、第１５図に示すように、最も左上の点ＵＬと最も下
右の点ＬＲによって表される。このようにして得られた
輝点位置データを輝点位置符号化部１１２は、例えばハ
フマン（ＭＨ）符号化などで符号化する。これと同時
に、クリッピングした矩形を一意に特定できる２点（Ｕ
ＬとＬＲ）の座標値も符号化する。ここでは符号化方式
としてＭＨ符号化を用いたが、ＭＲ符号化、ＭＭＲ符号
化、算術符号化等で良い。また、直線データ分解部１１
１は、輝点の軌跡を濃淡値データに分解する。濃淡値デ
ータに分解するとは、第１５図のように示された輝点位
置データをＸ方向を主走査方向としＫ方向を副走査方向
として走査して、存在する点の順番に従い、対応する輝
点の濃淡値を、第１６図に示すように、羅列して表すと
いうことである。ここではＭＨ符号化を適用したので、
この方式の符号化順序に従っている。走査方向を符号化
の方向と一致させたのは、符号化順序に従う方が輝点位
置と後述する濃淡値の対応がとりやすいからである。輝
点濃淡値符号化部１１３では、輝点の濃淡値データを、
一例としてＲＧＢ各色８ビットのデータとして考える。
尚、対応点軌跡検出部５０で使用する色空間はＲＧＢの
８ビットに限定するものでもない。輝点濃淡値符号化部
１１３は、色データを、一例としてＤＰＣＭ(Different
ial Pulse Code Modulation)符号化法を適用して符号化
する。但し、ＤＰＣＭ符号化をＸＫ平面上で空間的に離
れた位置にある任意の２点に適用するに際しては、これ
ら２点の差分値はとらず、そのままのデータを符号化す
る。ＸＫ平面上で空間的に離れた位置にある任意の２点
はまったく相関のないデータを表すので、相関のない２
点のデータの差分を演算することは符号量の増加を招く
ので、差分値の符号化を行わないのである。符号化デー
タ統合部１１４は、輝点位置符号化部１１２と輝点濃淡
値符号化部１１３で生成された符号データを統合し、パ
ラメトリックデータとしてファイル４０に出力する。以
上のように第２実施形態を構成することにより、対応点
軌跡検出部５０からの出力を第１実施形態のようにその
ままの状態で保持するよりも、より少ない情報量でデー
タを保持することができ、機器に必要なメモリ量が少な
くてすむという利点がある。第１７図は第２実施形態の
画像処理装置の軌跡データ伸長部１２０の構成を示す図
である。図中、符号化データ分解部１２１は、ファイル
４０から入力されたパラメトリックデータを、輝点位置
の符号データと輝点濃淡値のデータとに分解して、２つ
の復号化部１２２，１２３に出力する。輝点位置復号化
部１２２は符号化データ分解部１２１で得られた輝点位
置の符号化データを復号する。輝点濃淡値復号化部１２
３は符号化データ分解部１２１で得られた輝点濃淡値デ
ータＤを復号する。統合部１２４は輝点位置復号化部１
２２と輝点濃淡値復号化部１２３で復号されたデータを
統合して直線データとして出力する。軌跡データ伸長部
１２０では、軌跡データ圧縮部１１０での処理と全く逆
の処理が行われる。まず、符号化データ分解部１２１で
はパラメトリックデータを読み込み、輝点位置データと
輝点濃淡値データとに分解する。輝点位置復号化部１２
２では輝点位置符号データを、また輝点濃淡値復号化部
１２３では輝点濃淡値データを復号し、直線データ統合
部１２４においてこれらを直線データとして統合する。
第１８図は第２実施形態の画像処理装置のオンデマンド
内挿表示部６０の構成を示す図である。第２実施形態の
オンデマンド内挿表示部６０の構成は第１実施形態のそ
れ（第６図）と同じである。表示スクリーン７０を眺め
る利用者が頭の位置を変えて視点を移動させると、視点
検出器８０の信号が変化する。視点位置入力部３２は、
この変化を受けて、視点位置を対応点軌跡内挿部３１へ
送る。対応点軌跡内挿部３１は視点位置を受けると、視
点移動に対応した新たな画像の生成を行い、画像表示部
３３へ画像を送る。画像表示部３３は表示スクリーン７
０へ画像を表示する。次に、対応点軌跡内挿部３１の動
作をくわしく説明する。対応点軌跡内挿部３１は視点検
出器８０から左右方向の視点位置Ｘ_pを得る。一方、対
応点軌跡内挿部３１は、パラメトリックデータの各水平
ラインのすべての対応点軌跡について、輝点の画像中の
水平方向の表示位置ｘを算出し、その表示位置ｘに輝点
の濃淡値Ｄを描画する。結果として、視点位置に対応し
た画像が１枚生成される。ここで、ある水平ライン中の
ある輝点の水平方向（Ｘ方向）の表示位置をｘ、対応点
軌跡の直線位置をｘ₀、直線傾きをｋ、視点位置をＸ_pと
すると、

【数９】が得られる。なお、第２実施形態で、表示スクリーン７
０および画像表示部３３に、レンチキュラ方式やメガネ
方式などの両眼立体視が可能な立体表示スクリーン及び
立体画像表示部を用い、かつ、視点位置入力部３２が左
右おのおのの目の位置に対応する視点パラメータを算出
するように変形することは、第１実施形態と同じように
可能である。この変形に対応して対応点軌跡内挿部３１
が左右おのおのの目に提示するための画像を生成するこ
とにより、前後左右に視点移動可能な両眼立体表示装置
となる。〈第２実施形態の第１変形例〉第２実施形態中の軌跡デ
ータ圧縮部１１０では、直線データを輝点位置データと
輝点濃淡値データに分解してそれぞれを符号化したが、
その輝点濃淡値をベクトル量子化を用いて符号化するこ
とも可能である。第１９図は、この第１変形例で用いら
れるデータの構成を表す図である。軌跡データの傾きｋ
は実際には整数値のみならず、多くは少数で表される値
である。前述したように、第２実施形態の対応点軌跡検
出部５０は検出する直線の傾きのステップＳ幅を固定値
（△Ｓ）としているため、検出された任意の直線の傾き
ｋは、△Ｓの整数倍（Ｎ）で表現可能である。ここで
は、任意のｋを、

【数１０】ｋ＝△Ｓ＊Ｎで表すことにする。第１９図は、第２実施形態の検出部
５０によって生成される軌跡データを示す。また、検出
された各輝点の色データを順に並べたテーブルを第２０
図に示す。第１９図の軌跡位置データと第２０図の色デ
ータとは、インデックスの値でリンクされている。ま
た、第１９図において、ｘ₀は輝点のＸ方向の切片位置
を示し、Ｎは式１０に従ってｋを量子化しときのＮであ
る。第１９図のテーブルは、傾きｋが整数値に量子化さ
れたことによって情報圧縮がなされた。また、この色デ
ータに対してベクトル量子化を行うことにより、データ
量を画像の種類によらず一定にしたい場合などに有効で
ある。ベクトル量子化に用いるテーブルは、画像ごとに
用意して、符号データと一緒に蓄積あるいは伝送しても
よいし、一般的なテーブルを用意して全ての画像に適用
してもよい。〈第２実施形態の第２変形例〉次に、第２実施形態の画
像処理装置を、前後左右に視点移動可能な立体視システ
ムに適用した例を第２変形例として示す。この第２変形
例のシステム構成は、第１０図，第１１図の通りであ
る。そこで、第２変形例では、第２実施形態の対応点軌
跡内挿部３１の内挿処理を以下に説明する処理に置き換
える。第２１図は第２変形例の画像処理装置の対応点軌
跡内挿部３１の内挿計算の算出原理を示す図である。図
中、ある輝点２００（Ｘ_I，Ｚ_I）が（＋Ｘ，＋Ｚ）だけ
ずれた点２０１へＸＺ空間で移動する場合を考える。カ
メラ２２の光学系の焦点距離をｆとすると、Ｚ軸の距離
ｆのところに撮像面が存在し、その撮像面においては画
素ピッチはｐであるとする。輝点２００（Ｘ_I，Ｚ_I）は
撮像面においてはｘ₀位置にある。輝点２００（Ｘ_I，Ｚ
_I）が（＋Ｘ，＋Ｚ）だけＸＺ空間で移動すると、画像
の表示位置は２０２ｘ₀から２０３ｘに移動する。ｘ₀位
置が、視点位置（０，０）の仮想的なカメラの撮像面に
投影されているとする。投影される位置は、直線の切片
位置ｘ₀に相当する。このとき、視点位置が移動した場
合の、輝点の像の移動を考える。視点２０２がある方向
へ移動することは、逆方向ヘ輝点２００が移動すること
と等価である。この原理を利用して、輝点２００が移動
量（＋Ｘ，＋Ｚ）だけ移動した場合の移動後の像２０３
（ｘ）を式１１に従って求める。

【数１１】但し、式１１中のｋ，ａは、

【数１２】

【数１３】で表すことが出来る。尚、式１１は、第２１図におい
て、

【数１４】

【数１５】を解くことにより導かれる。式１１を用いることによ
り、視点移動（−Ｘ、−Ｚ）に対応した、移動後の像ｘ
２０３を求めることができる。次に第２変形例の対応点
軌跡内挿部３１の動作を説明する。視点検出器８０は左
右前後の視点位置（−Ｘ、−Ｚ）を対応点軌跡内挿部３
１へ送る。対応点軌跡内挿部３１は、パラメトリックデ
ータの各水平ラインのすべての対応点軌跡について１１
式を計算することにより、前後左右の視点移動に対応し
た画像を生成する。第２変形例では、入力画像に上下方
向の視差がないため、前後の視点移動に対して生成され
る画像には上下方向の歪みが生じる。被写体までの距離
に応じて、画像の表示時に、上下方向に拡大縮小変換を
行うことによりこの歪みを目立たなく補正することがで
きる。〈第２実施形態の第３変形例〉次に、第２実施形態の処
理を高速に行うという観点からの提案を第３変形例とし
て示す。この第３変形例では、第２実施形態の対応点軌
跡内挿部３１の内挿処理を以下に説明する処理に置き換
える。第２２図は第３実施形態の第３変形例の画像処理
装置の対応点軌跡内挿部３１の高速計算処理を示すフロ
ーチャートである。はじめに、本実施形態の対応点軌跡
内挿部３１の内挿処理の原理を説明する。前述の第２変
形例の１１式は以下の１６式に変形できる。

【数１６】ここで、ｘ'，ｋ'，Ｚ'を式１７，式１８，式１９のよ
うに定義すると、式１６は、式２０のように変形され
る。

【数１７】

【数１８】

【数１９】

【数２０】ここで、ｘ^'およびｋ^'は視点位置に依存しないため、あ
らかじめ計算しておくことができる。また、Ｚ^'は対応
点軌跡に依存しないため、視点位置の変化に対して１回
だけ計算すればよい。次に、第２実施形態の第３変形例
の対応点軌跡内挿部３１の内挿処理の動作を説明する。
対応点軌跡内挿部３１はまず第２２図のステップＳ１１
１およびステップＳ１１２において、すべての対応点の
軌跡係数（ｋとｘ₀）について、それぞれｘ^'およびｋ^'
を式１７，式１８を用いて求める。次にステップＳ１１
３で、視点位置（Ｘ_p，Ｚ_p）を視点位置入力部３２から
取得し、ステップＳ１１４において、視点位置が変化す
るごとに１回だけ、式１９を用いてＺ^'を計算する。そ
して、各水平ラインの全ての対応点軌跡係数について、
ステップＳ１１５で式２０を用いて輝点の表示位置を算
出し、ステップＳ１１６で輝点の濃淡値を描画する。以
上の処理により、本実施形態では高速に対応点軌跡内挿
処理を行うことができ、よりスムーズな視点移動が可能
になるという実施形態特有の効果がある。〈第２実施形態の第４変形例〉次に、本発明を、前後上
下左右に視点移動可能な画像処理装置に適用した例を、
第２実施形態の第４変形例として示す。この第４変形例
は前後左右上下に視点移動可能であるという観点から、
第１実施形態の第３変形例に相当する。本第４変形例で
は、第１変形例の対応点軌跡検出部５０の検出処理、オ
ンデマンド内挿表示部６０の内挿処理を以下に説明する
処理に置き換える。まず、変形された対応点軌跡検出部
５０の動作を説明する。第２変形例では、入力画像は、
左右上下に平面上に並んだ視点から撮影された画像であ
った。このため、ある輝点の像の軌跡は、メモリ４１
（第１１図を参照）の多視点画像がなす４次元画像空間
中の平面となる。したがって、対応点軌跡判定部４２の
対応点軌跡判定処理は、この入力４次元画像空間中の平
面判定処理に等しい。左右方向及び観察者の見つめる方
向を、第１実施形態と同じように、Ｘ軸、Ｚ軸にとり、
さらに、上下方向にＹ軸をとると、前記４次元空間は、
ＸＹＺの三次元と、表示位置のｘ軸の４次元空間であ
る。輝点位置を表す平面は以下の２１式で表される。

【数２１】ここで、視点位置、軌跡上の輝点位置、軌跡の位置、傾
きは、それぞれ（Ｘ_p，Ｙ_p）、（Ｘ_I，Ｙ_I）、（ｘ₀，ｙ₀）、ｋである。第４変形例の軌跡係数制御部３３（第１１図）
の算出する軌跡係数は、平面の位置と傾きを示す
（ｘ₀，ｙ₀，ｋ）の３つの係数の組みとなる。対応点軌
跡判定部３２は軌跡係数制御部３３および判定しきい値
制御部３５に順次制御され、画像空間中で平面上の軌跡
を判定し、検出した平面の係数を検出軌跡記憶部３４に
記憶する。圧縮部１１０によって出力されるパラメトリ
ックデータは、検出された平面上軌跡の枚数分の、輝点
の座標値である。次に第４変形例のオンデマンド内挿表
示部６０の処理について説明する。第４変形例のオンデ
マンド内挿表示部６０の構成は第１実施形態のそれ（第
６図）に同じである。対応点軌跡内挿部３１のステップ
Ｓ１１１は、上記の１７式に加えて、以下の２２式を計
算する。

【数２２】また、ステップＳ１１５では、以下の２３式を用いて、
輝点の表示位置（ｘ，ｙ）を計算する。

【数２３】ステップＳ１１６では、表示位置に合わせて輝点の濃淡
値を描画する。第４変形例では、入力画像が上下方向の
視差を持つため、第２変形例、および第３変形例で生じ
たような上下方向の画像の歪みが生じない、という実施
形態特有の効果がある。〈第２実施形態の他の変形〉第２実施形態、第１変形例
では、各ＸＫ平面ごとに輝点データ（直線データ）を符
号化しているが、隣り合ったＸＫ平面間の相関を使って
符号化することが可能である。この場合は、既に処理済
みＸＫ平面の輝点位置データを参照テンプレートとし、
今処理しているＸＫ平面の輝点位置データを算術符号化
あるいはこれと類似の符号化、例えば、２値画像の符号
化標準方式であるＱＭコーダなどを用いると、符号化効
率がよい。輝点濃淡値データに関しても、隣接するＸＫ
平面間では相関が非常に強いので、隣接するＸＫ平面間
で濃淡値データの差分をとり、符号化すると符号化効率
が向上する。パラメトリックデータを通信データとして
遠隔端末間でやり取りする場合、実時間の任意視点画像
通信システムとなる。なお、本発明は単体の画像処理装
置に適用しても良いし、多視点テレビ、多視点テレビ電
話端末や多視点テレビ会議システムのようなシステム機
器に適用しても良いし、コンピュータや他の画像処理装
置と組み合わせた復合装置にも適用できる。次に説明す
る第３実施形態は、表示装置の差異による表示速度の差
が大きくならない工夫を行ったものである。〈第３実施形態〉第２３図は第３実施形態の画像処理装
置１００の構成を示す図である。第３実施形態の画像処
理装置１００も、第１実施形態，第２実施形態と同様
に、軌跡検出部５０と内挿表示部６０とを有する。軌跡
検出部５０の構成は、軌跡データ階層化部２１７を除い
て、第１実施形態，第２実施形態と異なるところがな
い。軌跡データ階層化部２１７はメモリ２１４に記憶さ
れた対応点軌跡係数を多段階のデータ構造にする。その
結果、データ出力部２１９は、軌跡データ階層化部１７
で階層的なデータ構造にされたた軌跡係数を出力する。
次に、第３実施形態の動作の概略を説明する。対応点軌
跡検出部５０は、カメラ２２から多視点画像を受け取
り、パラメトリックデータを出力する。オンデマンド内
挿表示部６０はパラメトリックデータをファイル４０か
ら受け取り、利用者の視点位置の変化に応じて表示スク
リーン７０に画像を表示する。パラメトリックデータ
は、任意視点表示に必要な十分な情報を含んでおり、そ
のデータ量は、考えられうる視点移動に対応した画像を
全て保持する場合に比べて、極めて小さい。さらに、表
示装置の性能差に対応すべく、ファイル装置４０におい
ては、複数の解像度のデータを保持する。このような構
成をとることにより、機器に必要なメモリ量が少なくて
すみ、表示装置の性能に依存しないという利点がある。
対応点軌跡検出部５０の動作を説明する。メモリ２１１
は多視点画像を保持する。軌跡係数制御部２１３は、被
写空間中の仮想的な輝点を順次想定し、その輝点が多視
点画像中で成す軌跡の係数を算出する。対応点軌跡判定
部２１２は軌跡係数制御部１３の軌跡係数が示す軌跡が
メモリ２１１の画像中に存在するかどうか判定する。こ
の時、判定閾値制御部１５は対応点軌跡判定部２１２の
判定条件を順次制御する。対応点軌跡判定部２１２は検
出した対応点軌跡の係数をメモリ２１４に記憶する。ま
た、同時に、検出した対応点軌跡の、画像中での位置や
条件を検出マーク配列保持部２１６に記憶し、後の軌跡
判定時に利用する。対応点軌跡判定部２１２の処理が終
了すると、軌跡データ階層化部２１７は、メモリ２１４
に記憶された対応点軌跡係数をもとに、解像度を下げた
場合に相当する対応点軌跡係数を算出し、メモリ２１４
に追記録する。データ出力部２１９はメモリ２１４の値
をパラメトリックデータとしてフィル４０に出力する。
次にオンデマンド内挿表示部６０の動作を説明する。デ
ータ入力部３１１はパラメトリックデータをファイル４
０から入力して対応点軌跡内挿部３１２へ送る。この
時、入力されたデータを全てではなく、表示装置３１６
に予め設定されているランクに応じたデータ解像度の軌
跡係数だけを伝送する。表示スクリーン７０を眺める利
用者が頭の位置を変えて視点を移動させると、視点検出
器８０の信号が変化する。視点位置入力部３１５は、こ
の変化を受けて、視点位置を対応点軌跡内挿部３１２へ
送る。対応点軌跡内挿部３１２は視点位置を受けると、
視点移動に対応した新たな画像の生成を行い、画像表示
部３１６へ画像を送る。画像表示部３１６は表示スクリ
ーン７０へ画像を表示する。次に、対応点軌跡判定部３
１２の動作を詳しく説明する。対応点軌跡判定部３１２
はまず、メモリ２１１の入力画像から、ある水平ライン
に注目し、そのラインのエピポーラ・プレーン画像（Ｅ
ＰＩ）を作成する。第３実施形態がＥＰＩに基づいて軌
跡データを生成することは、第１実施形態，第２実施形
態と同じである。軌跡係数制御部２１３は、軌跡直線の
位置Ｘ₀と傾きｋの２つの係数の組みである軌跡係数
を、考えられるもの全てを順次想定し、算出する。対応
点軌跡判定部２１２は、先ず算出された直線上に対応す
るＥＰＩ上で、未処理の画素が存在するかどうか探索す
る。未処理の画素が見つかった場合、その画素の濃淡値
と、直線上の他の画素間の濃淡値の例えば差分値及び判
定閾値制御部２１５によって制御された閾値以下となる
かどうか判定する。閾値以下の場合、この直線上のすべ
ての画素に対して、検出マーク配列保持部１６に検出済
として検出された直線の傾き（奥行き情報）を記録す
る。そして、軌跡係数（直線の位置と傾き）及び対応点
の濃淡値情報（例えば対応点の濃淡値の平均値）をメモ
リ２１４に記憶する。データ出力部２１９によって出力
されるパラメトリックデータは、各水平ラインごとの、
検出された直線状軌跡の本数分の、直線の位置と傾きと
濃淡値情報の組みである。次に、検出された軌跡を記憶
するメモリ２１４について第２４図を用いて詳しく説明
する。第２４図はメモリ２１４に記憶される１つの情報
単位を示す。１つの単位は、対応点軌跡判定部２１２が
検出した直線の切片位置ｘ₀、傾きｋ、色Ｄを記憶す
る。第２５図は、メモリ２１４の空間を示す。メモリ２
１４の空間の任意の位置は、横軸と縦軸によって指定さ
れる。一例として横軸を直線の切片位置ｘ₀とし、縦軸
を直線の傾きｋとする。メモリ２１４の任意番地
（ｘ_0n，ｋ_n）には、その深さ方向に、直線（ｘ_0n，
ｋ_n）が表す輝点の色の濃度値及び存在の有無情報が記
憶される。即ち、メモリ２１４の１ワードは、色濃度が
ＲＧＢの各々について各８ビットならば、２５ビット
（＝８ビット×３＋１ビット）の長さを有する。第２５
図に示すように、メモリ２１４には、画像のサイズや被
写体までの距離などに応じて、同じ被写体の複数通りの
軌跡データが記憶されている。第２５図の例では、画像
のサイズや被写体までの距離などに応じて、一例として
４通りの領域が設けられている。即ち、画像のサイズや
被写体までの距離が変わると、解像度が変化する。そこ
で、所定距離にある被写体の画像について所定のサイズ
を設定し、そのときの解像度を「タイプ１倍」と呼び、
その半分の解像度を「タイプ1/2倍」、さらに半分の解
像度を「タイプ1/4倍」、さらに半分の解像度を「タイ
プ1/8倍」と呼ぶものとする。すると、ある任意の輝点
の直線（ｘ_0n，ｋ_n）が「タイプ１倍」であるならば、
その「タイプ1/2倍」の軌跡データは（ｘ_0n//2，ｋ_n//
2）、「タイプ1/4倍」の軌跡データは（ｘ_0n//4，ｋ_n//
4）、「タイプ1/8倍」の軌跡データは（ｘ_0n//8，ｋ_n//
8）となる。メモリ２１４に記録されている軌跡係数デ
ータの解像度毎に階層化する方法を説明する。対応点軌
跡判定部２１２により検出された対応点軌跡は、先ず、
メモリ２１４の解像度タイプ１の領域２３１に記憶され
る。この解像度タイプ１のデータを最大解像度のデータ
とする。この解像度「タイプ１」のデータを１／ｍの解
像度にさげるには、領域２３１を、ｍ×ｍのマス毎に区
切り、各区画において、その区画内の全画素の濃度値の
平均値を計算し、それを解像度のタイプ１／ｍの領域に
記録する。この解像度を下げる処理を１／ｍ＝１／２、
１／４、１／８で行い、第２５図のような階層的なデー
タ構造にする。ここで、対応点軌跡判定部２１２が行う
解像度変換は通常の解像度変換ではなく、値を持つ画素
だけ、即ち、有無を示すフラグが「有り」である画素だ
けを用いることに注意する。以上により、メモリ２１４
は多段階解像度のデータ構成になり、解像度を下げたデ
ータでは当然データ量も少なく、表示装置もしくは観察
者の位置に応じた解像度データだけをファイル４０に記
憶することが許され、記憶量が少なくて済む。また、デ
ータ量を少なくすることにより、内挿表示部６０におけ
る表示時での負担を軽減できる。次に、出力部２１９か
らファイル４０に出力されるデータ構造について説明す
る。データ出力部２１９によって出力されるパラメトリ
ックデータは、第２６図に示すように、各水平ラインご
との、検出された直線状軌跡の本数分の、直線の位置ｘ
₀と傾きｋの組みをパックにして、それを解像度毎に組
み合わせた構造になっている。尚、カメラ２２の画像空
間がｘ方向にｔ個の画素を有するのであれば、１水平ラ
イン毎にｔ個の軌跡データを有する。次に、データ入力
部３１１の動作をくわしく説明する。入力されるパラメ
トリックデータは対応点軌跡係数の多段階解像度分のデ
ータを含んでいる。そこで、データ入力部３１１は、対
応点軌跡内挿部３１２の性能に併せて予め設定してある
表示装置タイプに従って、適切な解像度のデータだけを
対応点軌跡内挿部３１２に伝送する。この時、表示装置
の解像度に合わせて、ｙ方向の解像度を１／ｍに調整す
ることが必要な場合には、ファイル４０からの元データ
のうち、０，ｍ，２ｍ，３ｍ，４ｍ，…ラインのデータ
だけを用いる。このようにして、解像度を１／ｍ倍した
時のデータ量は、ｙ方向について１／ｍ倍、一つのライ
ンｙについても多少のデータ量削減（必ずしも１／ｍに
ならない）が可能であり、表示時に計算する輝点の数も
減る。したがって、計算スピードの劣る表示装置におい
ても解像度を下げることで高速表示を実現できる。次
に、対応点軌跡内挿部３１２の動作を詳しく説明する。
対応点軌跡内挿部３１２は視点検出器８０から左右方向
の視点位置を得る。そして、パラメトリックデータの各
水平ラインの全ての対応点軌跡について、輝点の画像中
の水平方向の表示位置を算出し、その表示位置に輝点の
濃淡値を描画する。結果として、視点位置に対応した画
像が１枚生成される。ここで、ある水平ライン中のある
輝点の水平方向の表示位置、対応点軌跡の直線の切片位
置、直線傾き、視点位置をそれぞれ、Ｘ_I、ｘ₀、ｋ、Ｘ_p とすると、表示位置は以下の２４式で算出する。

【数２４】ただし、輝点の大きさは解像度により変化する。解像度
が最大の時には、輝点のサイズは１×１で、解像度が１
／２、１／４となるに従って２×２、４×４と輝点のサ
イズは大きくなる。なお、表示スクリーン７０および画
像表示部に、レンチキュラ方式やメガネ方式などの両眼
立体視が可能な立体表示スクリーン及び立体画像表示部
を用い、かつ、視点位置入力部３１５が左右おのおのの
目の位置に対応する視点パラメータを算出し、これに対
応して対応点軌跡内挿部１１２が左右おのおのの目に提
示するための画像を生成することにより、前後左右に視
点移動可能な両眼立体表示装置となる。〈第３実施形態の第１変形例〉次に、第３実施形態の画
像処理装置を、前後左右に視点移動可能な画像処理装置
に適用した例を第１変形例として示す。この第１変形例
では、第３実施形態の対応点軌跡内挿部３１２の内挿処
理を以下に説明する処理に置き換える。第２７図は第１
変形例の画像処理装置の対応点軌跡内挿部３３１の内挿
計算の算出原理を示す図である。図中、ある輝点４５１
（Ｘ_I，Ｚ_I）が（＋Ｘ，＋Ｚ）だけずれた点４５２へＸ
Ｚ空間で移動する場合を考える。カメラ２２の光学系の
焦点距離をｆとすると、Ｚ軸の距離ｆのところに撮像面
が存在し、その撮像面においては画素ピッチはｐである
とする。輝点４５１（Ｘ_I，Ｚ_I）は撮像面においてはｘ
₀位置にある。輝点４５１（Ｘ_I，Ｚ_I）が（＋Ｘ，＋
Ｚ）だけＸＺ空間で移動すると、画像の表示位置は４５
５のｘ₀から４５６のｘに移動する。ｘ₀位置が、視点位
置（０，０）の仮想的なカメラの撮像面に投影されてい
るとする。投影される位置は、直線の切片位置ｘ₀に相
当する。このとき、視点位置が移動した場合の、輝点の
像の移動を考える。視点４５５がある方向へ移動するこ
とは、逆方向ヘ輝点４５１が移動することと等価であ
る。この原理を利用して、輝点４５１が移動量（＋Ｘ，
＋Ｚ）だけ移動した場合の移動後の像４５５（ｘ）を式
２５に従って求める。

【数２５】但し、式２５中のｋ，ａは、

【数２６】

【数２７】で表すことが出来る。尚、式２５は、第２７図におい
て、

【数２８】

【数２９】を解くことにより導かれる。式２５を用いることによ
り、視点移動（−Ｘ、−Ｚ）に対応した、移動後の像ｘ
４５６を求めることができる。第１変形例では、入力画
像に上下方向の視差がないため、前後の視点移動に対し
て生成される画像には上下方向の歪みが生じる。被写体
までの距離に応じて、画像の表示時に、上下方向に拡大
縮小変換を行うことによりこの歪みを目立たなく補正す
ることができる。次に第１変形例の対応点軌跡内挿部３
１２の動作を説明する。視点検出器８０は左右前後の視
点位置（−ｘ、−ｚ）を対応点軌跡内挿部３１２へ送
る。対応点軌跡内挿部３１２は、パラメトリックデータ
の各水平ラインのすべての対応点軌跡について２５式を
計算することにより、前後左右の視点移動に対応した画
像を生成する。第１変形例では、入力画像に上下方向の
視差がないため、前後の視点移動に対して生成される画
像には上下方向の歪みが生じる。被写体までの距離に応
じて、画像の表示時に、上下方向に拡大縮小変換を行う
ことによりこの歪みを目立たなく補正することができ
る。〈第３実施形態の第２変形例〉次に、第３実施形態の処
理を高速に行う例を第２変形例として示す。第２変形例
では、第３実施形態の対応点軌跡内挿部３１２の内挿処
理を以下に説明する処理に置き換える。第２８図は第２
変形例の画像処理装置の対応点軌跡内挿部３１２の高速
計算処理を示すフローチャートである。はじめに、第２
変形例の対応点軌跡内挿部１１２による内挿処理の原理
を説明する。前述の２５式は以下の３０式に変形でき
る。

【数３０】ここで、ｘ'，ｋ'，Ｚ'を式３１，式３２，式３３のよ
うに定義すると、式３０は、式３４のように変形され
る。

【数３１】

【数３２】

【数３３】

【数３４】ここで、ｘ^'およびｋ^'は視点位置に依存しないため、あ
らかじめ計算しておくことができる。また、Ｚ^'は対応
点軌跡に依存しないため、視点位置の変化に対して１回
だけ計算すればよい。次に、第３実施形態の第２変形例
の対応点軌跡内挿部３３１の内挿処理の動作を説明す
る。対応点軌跡内挿部３３１はまず第２８図のステップ
Ｓ６１およびステップＳ６２において、すべての対応点
の軌跡係数（ｋとｘ₀）について、それぞれｘ^'およびｋ
^'を式３１，式３２を用いて求める。次にステップＳ６
３で、視点位置（Ｘ_p，Ｚ_p）を視点位置入力部３１５か
ら取得し、ステップＳ６４において、視点位置が変化す
るごとに１回だけ、式３３を用いてＺ^'を計算する。そ
して、各水平ラインの全ての対応点軌跡係数について、
ステップＳ６５で式３４を用いて輝点の表示位置を算出
し、ステップＳ６６で輝点の濃淡値を描画する。以上の
処理により、本実施形態では高速に対応点軌跡内挿処理
を行うことができ、よりスムーズな視点移動が可能にな
るという実施形態特有の効果がある。〈第３実施形態の第３変形例〉次に、第３実施形態を、
前後上下左右に視点移動可能な画像処理装置に適用した
例を第３変形例として示す。本第３変形例では、第２変
形例の対応点軌跡検出部５０の検出処理、オンデマンド
内挿表示部６０の内挿処理を以下に説明する処理に置き
換える。まず、対応点軌跡検出部５０の動作を説明す
る。本実施形態では、メモリ２１１の入力画像は、左右
上下に平面上に並んだ視点から撮影された画像である。
このため、ある輝点の像の軌跡は、メモリ２１１の多視
点画像がなす４次元画像空間中の平面となる。したがっ
て、対応点軌跡判定部２１２の対応点軌跡判定処理は、
この入力４次元画像空間中の平面判定処理に等しい。こ
の平面は、以下の３５式で表される。

【数３５】ここで、視点位置、軌跡上の輝点位置、軌跡の位置、傾
きは、それぞれ（Ｘ_p，Ｙ_p）、（Ｘ_I，Ｙ_I）、（ｘ₀，ｙ₀）、ｋである。第３変形例の軌跡係数制御部２１３（第２３
図）の算出する軌跡係数は、平面の位置と傾きを示す
（ｘ₀，ｙ₀，ｋ）の３つの係数の組みとなる。対応点軌
跡判定部２１２は軌跡係数制御部２１３および判定しき
い値制御部２１５に順次制御され、画像空間中で平面上
の軌跡を判定し、検出した平面の係数を検出軌跡記憶部
２１４に記憶する。データ出力部２１９によって出力さ
れるパラメトリックデータは、検出された平面上軌跡の
枚数分の、輝点の座標値である。次に第３変形例のオン
デマンド内挿表示部６０の処理について説明する。第３
変形例のオンデマンド内挿表示部６０の構成は第３実施
形態のそれ（第２３図）に同じである。対応点軌跡内挿
部３１２のステップＳ６１は、上記の３１式に加えて、
以下の３６式を計算する。

【数３６】また、ステップＳ６５では、以下の３７式を用いて、輝
点の表示位置（ｘ，ｙ）を計算する。

【数３７】ステップＳ６６では、表示位置に合わせて輝点の濃淡値
を描画する。第３変形例では、入力画像が上下方向の視
差を持つため、第１変形例、および第２変形例で生じた
ような上下方向の画像の歪みが生じない、という実施形
態特有の効果がある。〈第３実施形態の他の変形例〉以上の第３実施形態及び
その変形例では、あらかじめ撮影された多視点画像がメ
モリ２１１に保持されている構成としたが、これを、多
視点画像を実時間で取り込むことのできる多眼テレビカ
メラに置き換えることにより、実時間の任意視点画像撮
影・表示システムとなる。さらに、パラメトリックデー
タを通信データとして遠隔端末間でやり取りする場合、
実時間の任意視点画像通信システムとなる。なお、本発
明は単体の画像処理装置に適用しても良いし、多視点テ
レビ、多視点テレビ電話端末や多視点テレビ会議システ
ムのようなシステム機器に適用しても良いし、コンピュ
ータや他の画像処理装置と組み合わせた復合装置にも適
用できる。尚、本発明は、複数の機器から構成される
システムに適用しても、１つの機器から成る装置に適用
しても良い。また、本発明はシステム或は装置にプログ
ラムを供給することによって達成される場合にも適用で
きることはいうまでもない。

【発明の効果】以上説明したように本発明は、観察者の
目の位置等を検出し、観察者から見える画像を複数枚の
画像から再構成することにより、観察者の視点移動、及
びまたは、視線方向の変化に対応した画像をスムーズに
出力することを可能にする。装置に必要な記憶容量も、
考えられうる視点移動に対応した画像をすべて保持する
場合に比べて、極めて少なくてすむ。

【図面の簡単な説明】

【図１】第１実施形態の立体視システムの構成を示す図
である。

【図２】第１実施形態〜第３実施形態に用いられるエピ
ポーラプレーン画像の生成過程を説明する図。

【図３】第１実施形態〜第３実施形態に用いられるエピ
ポーラプレーン画像において、輝点対応点の軌跡が直線
で近似され、その直線が傾き及び切片の値によって表さ
れることを示す図。

【図４】第１実施形態〜第３実施形態の画像処理システ
ムの概略的構成を示す図。

【図５】第１実施形態において、輝点位置とエピポーラ
プレーン画像の直線との関係を説明する図。

【図６】第１実施形態の画像処理装置の構成を示す図。

【図７】第１実施形態において、視点において観察者が
視野角を有して観察する場合の輝点と視野角の関係を示
す図。

【図８】第１実施形態の第１変形例におけるカメラ配列
を説明する図。

【図９】第１実施形態の第２変形例における画像処理の
手法を説明する図。

【図１０】第２実施形態の構成を示すブロック図。

【図１１】第２実施形態の軌跡検出部５０の構成を示す
ブロック図。

【図１２】第２実施形態の軌跡データ圧縮部の構成を示
すブロック図。

【図１３】第２実施形態における圧縮原理を説明する
図。

【図１４】第２実施形態における圧縮原理を説明する
図。

【図１５】第２実施形態における圧縮原理を説明する
図。

【図１６】第２実施形態における圧縮原理を説明する
図。

【図１７】第２実施形態における伸張部の構成を説明す
る図。

【図１８】第２実施形態のオンデマンド内挿表示部６０
の構成を説明する図。

【図１９】第２実施形態の第１変形例における圧縮原理
を説明する図。

【図２０】第２実施形態の第１変形例における圧縮原理
を説明する図。

【図２１】第２実施形態の第２変形例における視点の移
動に伴う輝点の移動を説明する図。

【図２２】第２実施形態の第３変形例の制御手順を示す
フローチャート。

【図２３】本発明の第３実施形態の画像処理をの構成を
示すブロック図。

【図２４】第３実施形態における画像データの階層化原
理を説明する図。

【図２５】第３実施形態における画像データの階層化原
理を説明する図。

【図２６】第３実施形態における画像データの階層化原
理を説明する図。

【図２７】第３実施形態の第１変形例における視点の移
動に伴う輝点の移動を説明する図。

【図２８】第３実施形態の第２変形例の制御手順を示す
フローチャート。

【図２９】従来のエピポーラプレーン画像を説明する
図。

─────────────────────────────────────────────────────

【手続補正書】

【提出日】平成８年５月９日

【手続補正１】

【補正対象書類名】明細書

【補正対象項目名】全文

【補正方法】変更

【補正内容】

【書類名】明細書

【発明の名称】画像処理装置及び画像処理方法

【特許請求の範囲】

【発明の詳細な説明】

【０００１】

【０００２】

【従来の技術】従来、前もって得た複数の視点からの画
像に基づいて立体表示を行う装置として、ステレオディ
スプレイやレンチキュラーディスプレイなどがある。ス
テレオディスプレイは、２台のカメラから得られる左目
用画像と右目用画像とを交互に高速に切り替えて表示す
る。観察者は、この切り替えに同期するシャッターメガ
ネや偏光メガネを用いることにより、映像を立体的に観
察することができる。

【０００３】また、レンチキュラディスプレイは、例え
ば４台のカメラからの画像をそれぞれ画素単位に並べ替
え、この並べ替えた画像を前面にレンチキュラーシート
を張り付けた表示装置において表示する。観察者は、レ
ンチキュラーシート上に映じた４視点の映像の２つを立
体映像として見ることになる。また、４視点を映じるレ
ンチキュラーシートを用いれば、観察者は２つの異なる
位置において立体視が可能になる。

【０００４】

【発明が解決しようとする課題】しかしながら、上述し
た従来の立体画像表示では、画像を撮影した時における
カメラの撮影方向と同じ方向（同じ視線）の立体像しか
観察することができなかった。すなわち、例えば２台の
カメラを固定して物体を撮影して２つの画像を得ても、
観察者が視点（目の位置）を移動しても見える画像は同
じである。たとえ観察者の側が視点を移動しても、その
移動が反映されないので臨場感に欠けるという問題点が
ある。

【０００５】尚、レンチキュラーディスプレイは、観察
者の視点の左右方向の移動に対応して立体視を維持する
ことができるが、それは複数のカメラのどれかから見た
画像をとびとびに見るというものであって、連続的な視
点移動には対応できないうえに、前後方向への視点を移
動させることはできなかい。立体視を前後方向への視点
移動についても維持することに関して、コンピュータ・
グラフィックスで予め作成された画像を用いて立体視す
る場合には可能であるが、これはコンピュータ・グラフ
ィックスという画像としては単純なものを、画像内の点
の対応する３次元空間内での座標値が全て明らかにして
おくという特殊な状況を満足させて初めて可能になるも
のである。

【０００６】一方、複数の視点位置から撮影した画像を
もとに、撮影した位置とは異なった位置から撮影した画
像を生成する手段としてエピポーラ・プレーン・イメー
ジ（以下ＥＰＩと略す）を用いる方法がある。この方法
は、第２９図に示すように、予め複数の視点（第２９図
の例では４視点）からの画像を取り込んでおき、各画像
中の同じ水平位置にあるラインを抽出して１つの画像に
合成し、このＥＰＩ上で直線検出を行うことにより注目
点に対応する点（対応点）を求め、撮影した位置とは異
なる位置から撮影した場合に得られるであろう画像を内
挿補間により生成するというものである。

【０００７】しかしながら、上記のＥＰＩを用いた従来
例では観察者の動きに応じて滑らかに変化する映像を得
ることは困難であった。また、上記従来例では視線方向
は常に一定であり、対象物の横や後方に回り込んで眺め
ることはできなかった。本発明は、上記問題点に鑑みて
なされたもので、観察者の目の位置が任意に移動して
も、移動した視点に応じた再生画像を与えることができ
るようなパラメトリック画像データを生成して記憶する
ことの出来る画像処理方法及び画像処理装置を提供する
ことにある。

【０００８】本発明の他の目的は、観察者の目の位置が
任意に移動しても、移動した視点に応じた再生画像を与
えることができるようなパラメトリック画像データを生
成して出力することの出来る画像処理方法及び画像処理
装置を提供することにある。

【０００９】

【課題を解決するための手段】上記課題を達成するため
に、本発明の請求項１に係る画像処理装置は、それぞれ
異なる位置から同じ被写体を撮像して得た複数の多視点
画像を入力する入力手段と、被写体のそれぞれの輝点に
ついて、前記輝点の対応点を前記複数の多視点画像に亙
って同定する同定手段と、個々の輝点毎に、輝点につい
て同定された対応点を表すパラメトリック画像データを
生成する生成手段と、生成されたパラメトリック画像デ
ータを記憶する記憶する記憶手段とを有することを特徴
とする。

【００１０】同課題を達成するための、他の構成を有す
るところの、請求項２に係る本発明の画像処理装置は、
それぞれ異なる位置から同じ被写体を撮像して得た複数
の多視点画像を入力する入力手段と、被写体のそれぞれ
の輝点について、前記輝点の対応点を前記複数の多視点
画像に亙って同定する同定手段と、個々の輝点毎に、輝
点について同定された対応点を表すパラメトリック画像
データを生成する生成手段と、生成されたパラメトリッ
ク画像データと対応する輝点の画素値とを記憶する記憶
する記憶手段とを有する。

【００１１】同課題を達成するための、他の構成を有す
るところの、請求項３に係る本発明の画像処理装置は、
それぞれ異なる位置から同じ被写体を撮像して得た複数
の多視点画像を入力する入力手段と、被写体のそれぞれ
の輝点について、前記輝点の対応点を前記複数の多視点
画像に亙って同定する同定手段と、個々の輝点毎に、輝
点について同定された対応点を表すパラメトリック画像
データを生成する生成手段と、生成されたパラメトリッ
ク画像データを解像度に応じて階層化する手段と、階層
化されたパラメトリック画像データを記憶する記憶する
記憶手段とを有する。

【００１２】本発明の好適な一態様である請求項４に拠
れば、前記パラメトリック画像データは、個々の輝点に
ついて同定された対応点の軌跡を近似表現する直線の傾
き及び切片である。本発明の好適な一態様である請求項
５に拠れば、前記入力手段は、予め多数の方向から撮影
された画像を格納したデータベースから前記多視点画像
を入力することを特徴とする。

【００１３】本発明の好適な一態様である請求項６に拠
れば、前記入力手段は、１台以上のカメラから前記多視
点画像を入力するものであることを特徴とする。本発明
の好適な一態様である請求項７に拠れば、前記同定手段
は、前記複数の多視点画像から夫々のエピポーラ・プレ
ーン画像を抽出し、抽出したエピポーラ・プレーン画像
上で対応点を同定することを特徴とする。

【００１４】本発明の好適な一態様である請求項８に拠
れば、前記同定手段は、前記多視点画像データ中で平面
状軌跡を検出することを特徴とする。本発明の好適な一
態様である請求項９に拠れば、前記生成手段は、対応点
を表すパラメトリック画像データを量子化することを特
徴とする。本発明の好適な一態様である請求項１０に拠
れば、前記生成手段は、検出された傾きを量子化するこ
とを特徴とする。

【００１５】本発明の好適な一態様である請求項１１に
拠れば、前記生成手段は、同定された輝点の画素値を差
分符号化することを特徴とする。本発明の好適な一態様
である請求項６に拠れば、前記階層化手段は、輝点につ
いて同定された対応点を表すパラメトリック画像データ
を、異なる解像度毎に別個に生成することを特徴とす
る。

【００１６】本発明の好適な一態様である請求項１３に
拠れば、さらに、各輝点についてのパラメトリック画像
データ及び画素値を圧縮する圧縮手段を具備することを
特徴とする。本発明の好適な一態様である請求項１４に
拠れば、前記圧縮手段は、各輝点についてのパラメトリ
ック画像データ及び画素値に対してそれぞれ異なる圧縮
を施すことを特徴とする。

【００１７】本発明の好適な一態様である請求項１５に
拠れば、前記圧縮手段は、基準撮像面の各ラスタを一方
の軸とし、もう一方の直交する軸を対応点の軌跡が形成
する直線の傾きとした場合に構成される複数の平面の相
関を用いて圧縮を施すことを特徴とする。本発明の好適
な一態様である請求項１６に拠れば、前記階層化手段
は、パラメトリック画像データを記録する空間の解像度
を多段階に順に下げて階層化することを特徴とする。

【００１８】上記課題を達成するための本発明の請求項
１７に係る画像処理装置は、エピポーラプレーンイメー
ジ化された多視点画像から生成されたパラメトリック画
像データを読出可能に記憶する記憶手段と、観察者の目
の位置を検出する検出手段と、前記検出手段で検出され
た観察者の視点位置に基づいて、該位置を視点とする再
生画像を、前記記憶手段から読み出したパラメトリック
画像データから生成する画像生成手段と、生成された画
像を出力する画像出力手段を備えたことを特徴とする。

【００１９】上記課題を達成するための本発明の請求項
１８に係る画像処理装置は、エピポーラプレーンイメー
ジ化された多視点画像から所定の圧縮方法により圧縮さ
れて生成されたパラメトリック画像データを読出可能に
記憶する記憶手段と、観察者の目の位置を検出する検出
手段と、前記検出手段で検出された観察者の視点位置に
関連するパラメトリック画像データを全記憶手段から読
み出して伸張する伸張手段と、前記検出手段で検出され
た観察者の視点位置を視点とする再生画像を、前記記憶
手段から読み出した前記パラメトリック画像データから
生成する画像生成手段と、生成された再生画像を出力す
る画像出力手段を備えたことを特徴とする。

【００２０】本発明の好適な一態様である請求項１９の
画像処理装置に拠れば、前記パラメトリック画像データ
は、前もって、それぞれ異なる位置から同じ被写体を撮
像して得た複数の多視点画像から、前記被写体のそれぞ
れの輝点の、前記複数の多視点画像に亙る軌跡を表すも
のとして得たパラメトリック画像データデータである。

【００２１】本発明の好適な一態様である請求項２０の
画像処理装置に拠れば、前記検出手段はさらに観察者の
視線を検出し、前記画像生成手段は、前記再生画像を、
前記検出手段が検出した視点位置と視線とに基づいて、
前記記憶手段から読み出したパラメトリック画像データ
から生成することを特徴とする。本発明の好適な一態様
である請求項２１の画像処理装置に拠れば、前記画像出
力手段は表示装置であることを特徴とする。

【００２２】本発明の好適な一態様である請求項２２の
画像処理装置に拠れば、前記画像生成手段は、パラメト
リック画像データ中の直線状軌跡データに対応する３次
元空間内の輝点を画像面上に投影することを特徴とす
る。本発明の好適な一態様である請求項２３の画像処理
装置に拠れば、前記画像生成手段は、パラメトリック画
像データ中の平面状軌跡データに対応する３次元空間内
の輝点を画像面上に投影することを特徴とする。

【００２３】本発明の好適な一態様である請求項２４の
画像処理装置に拠れば、前記画像生成手段が生成した画
像のゆがみを補正する歪み補正手段をさらに備えたこと
を特徴とする。本発明の好適な一態様である請求項２５
の画像処理装置に拠れば、前記表示装置はステレオディ
スプレイであることを特徴とする。

【００２４】本発明の好適な一態様である請求項２６の
画像処理装置に拠れば、前記表示装置は円弧状の表示面
をもつディスプレイであることを特徴とする。本発明の
好適な一態様である請求項２７の画像処理装置に拠れ
ば、前記画像生成手段は、検出された視線に基づいて処
理範囲を視線方向に限定することを特徴とする。

【００２５】本発明の好適な一態様である請求項２８の
画像処理装置に拠れば、前記検出手段は、観察者の目の
位置を、前記多視点画像の撮像方向に平行な方向で検出
し、前記画像生成手段は、前記観察者の目の検出された
方向の位置を視点とする再生画像を、前記記憶手段から
読み出したパラメトリック画像データから生成すること
を特徴とする。

【００２６】本発明の好適な一態様である請求項２９の
画像処理装置に拠れば、前記検出手段は、観察者の目の
位置を、前記多視点画像の撮像方向に平行な第１の方向
と、この第１の方向に垂直な方向であって水平面内に含
まれる第２の方向とで検出し、前記画像生成手段は、前
記観察者の目の検出された前記第１の方向と第２の方向
における位置を視点とする再生画像を、前記記憶手段か
ら読み出したパラメトリック画像データから生成するこ
とを特徴とする。

【００２７】本発明の好適な一態様である請求項３０の
画像処理装置に拠れば、前記検出手段は、観察者の目の
位置を、前記多視点画像の撮像方向に平行な第１の方向
と、この第１の方向に垂直な方向であって水平面内に含
まれる第２の方向と、前記第１と第２の方向に垂直な第
３の方向とで検出し、前記画像生成手段は、前記観察者
の目の検出された前記第１の方向と第２の方向と第３の
方向とにおける位置を視点とする再生画像を、前記記憶
手段から読み出したパラメトリック画像データから生成
することを特徴とする。

【００２８】上記課題を達成するための請求項３１に係
る画像処理装置は、それぞれ異なる位置から同じ被写体
を撮像して得た複数の多視点画像を入力する入力手段
と、被写体のそれぞれの輝点について、前記輝点の対応
点を前記複数の多視点画像に亙って同定する同定手段
と、個々の輝点毎に、輝点について同定された対応点を
表すパラメトリック画像データを生成する生成手段と、
生成されたパラメトリック画像データを記憶する記憶手
段観察者の目の位置を検出する検出手段と、前記検出手
段で検出された観察者の視点位置に基づいて、該位置を
視点とする再生画像を、前記記憶手段から読み出したパ
ラメトリック画像データ基づいて生成する画像生成手段
とを具備する。

【００２９】本発明の好適な一態様である請求項３２の
画像処理装置に拠れば、前記画像出力装置の解像度を検
出する手段をさらに有し、前記生成手段は、輝点につい
て同定された対応点を表すパラメトリック画像データ
を、異なる解像度毎に別個に生成し、前記記憶手段は解
像度毎に生成されたパラメトリック画像データを記憶す
る生成されたパラメトリック画像データを記憶し、前記
画像生成手段は、検出された解像度に応じて、前記記憶
手段から読み出すパラメトリック画像データデータを制
御することを特徴とする。

【００３０】本発明の好適な一態様である請求項３３の
画像処理装置に拠れば、前記画像生成手段は検出された
視点位置に基づいて、前期パラメトリック画像データに
対して内挿処理を行うことを特徴とする。上記課題を達
成するための本発明の画像処理方法は、それぞれ異なる
位置から同じ被写体を撮像して得た複数の多視点画像を
入力する入力工程と、被写体のそれぞれの輝点につい
て、前記輝点の対応点を前記複数の多視点画像に亙って
同定する同定工程と、個々の輝点毎に、輝点について同
定された対応点を表すパラメトリック画像データを生成
する生成工程と、生成されたパラメトリック画像データ
を記憶する記憶工程と、観察者の目の位置を検出する検
出工程と、検出された観察者の視点位置に基づいて、該
位置を視点とする再生画像を、前記記憶手段から読み出
したパラメトリック画像データから生成し、その再生画
像を出力する出力工程とを備えたことを特徴とする。

【００３１】本発明の好適な一態様である請求項３５の
画像処理方法に拠れば、前記記憶工程において、個々の
輝点毎に、輝点について同定された対応点を表すパラメ
トリック画像データと、当該輝点の画素データとを併せ
て記憶し、前記画像生成工程において、検出された視点
に対応するパラメトリック画像データに対して、内挿補
間処理を行う。

【００３２】本発明の好適な一態様である請求項３６の
画像処理方法に拠れば、さらに、生成されたパラメトリ
ック画像データを解像度に応じて階層化する階層化工程
を有する。本発明の好適な一態様である請求項３７の画
像処理方法に拠れば、前記パラメトリック画像データ
は、個々の輝点について同定された対応点の軌跡を近似
表現する直線の傾き及び切片である。

【００３３】本発明の好適な一態様である請求項３８の
画像処理方法に拠れば、前記入力工程では、予め多数の
方向から撮影された画像を格納したデータベースから前
記多視点画像を入力する。本発明の好適な一態様である
請求項３９の画像処理方法に拠れば、前記入力工程は、
１台以上のカメラから前記多視点画像を入力する。

【００３４】本発明の好適な一態様である請求項４０の
画像処理方法に拠れば、前記同定工程は、前記複数の多
視点画像から夫々のエピポーラ・プレーン画像を抽出
し、抽出したエピポーラ・プレーン画像上で対応点を同
定する。本発明の好適な一態様である請求項４１の画像
処理方法に拠れば、前記同定工程は、前記多視点画像デ
ータ中で平面状軌跡を検出する。

【００３５】本発明の好適な一態様である請求項４２の
画像処理方法に拠れば、前記生成工程は、対応点を表す
パラメトリック画像データを量子化する。本発明の好適
な一態様である請求項４３の画像処理方法に拠れば、前
記生成工程は、検出された傾きを量子化する。本発明の
好適な一態様である請求項４４の画像処理方法に拠れ
ば、前記生成工程は、同定された輝点の画素値を差分符
号化する。

【００３６】本発明の好適な一態様である請求項４５の
画像処理方法に拠れば、前記階層化工程は、輝点につい
て同定された対応点を表すパラメトリック画像データ
を、異なる解像度毎に別個に生成する。本発明の好適な
一態様である請求項４６の画像処理方法に拠れば、さら
に、各輝点についてのパラメトリック画像データ及び画
素値を圧縮する圧縮工程を具備する。

【００３７】本発明の好適な一態様である請求項４７の
画像処理方法に拠れば、前記圧縮工程は、各輝点につい
てのパラメトリック画像データ及び画素値に対してそれ
ぞれ異なる圧縮を施す。本発明の好適な一態様である請
求項４８の画像処理方法に拠れば、前記圧縮工程は、基
準撮像面の各ラスタを一方の軸とし、もう一方の直交す
る軸を対応点の軌跡が形成する直線の傾きとした場合に
構成される複数の平面の相関を用いて圧縮を施す。

【００３８】本発明の好適な一態様である請求項４９の
画像処理方法に拠れば、前記階層化工程は、パラメトリ
ック画像データを記録する空間の解像度を多段階に順に
下げて階層化する。

【００３９】

【作用】請求項１による画像処理装置によれば、記憶手
段に、多視点画像の輝点について同定された対応点を表
すパラメトリック画像データを記憶せしめるので、この
記憶手段のパラメトリック画像データを用いた画像再生
が可能となる。請求項２による画像処理装置によれば、
記憶手段に、多視点画像の輝点について同定された対応
点を表すパラメトリック画像データと、同輝点の画素値
とを記憶せしめるので、この記憶手段のパラメトリック
画像データを用いた画像再生が可能となる。

【００４０】請求項３による画像処理装置によれば、記
憶手段に、多視点画像の輝点について同定された対応点
を表すパラメトリック画像データを解像度に応じて階層
化して記憶せしめるので、この記憶手段のパラメトリッ
ク画像データを用いることにより、再生側の出力手段の
解像度に応じた画像再生が可能となる。請求項４による
画像処理装置によれば、多視点画像は所定の直線方向に
沿って撮影するので、直線によってパラメータ化するの
が好適である。

【００４１】請求項５，６の画像処理装置によれば、多
視点画像は、データベース、または１台以上のカメラか
ら得られたものである。請求項７の画像処理装置に拠れ
ば、エピポーラプレーン画像は直線抽出に好適である。
請求項８の画像処理装置に拠れば、観察者が上下方向に
移動したときにも追随が可能なパラメトリック画像デー
タを生成することが出来る。

【００４２】請求項９の画像処理装置に拠れば、対応点
を表すパラメトリック画像データを量子化することによ
りデータ量を圧縮する。請求項１０の画像処理装置に拠
れば、量子化対象は検出された傾きである。請求項１１
の画像処理装置に拠れば、同定された輝点の画素値が差
分符号化される。

【００４３】請求項１２の画像処理装置に拠れば、パラ
メトリック画像データを異なる解像度毎に別個に生成す
るので、再生手段である出力装置の解像度に応じたパラ
メトリック画像データを生成することが出来、高速化に
寄与する。請求項１３の画像処理装置に拠れば、さら
に、各輝点についてのパラメトリック画像データ及び画
素値を圧縮する圧縮手段を具備することを特徴とする。

【００４４】請求項１４の画像処理装置に拠れば、各輝
点についてのパラメトリック画像データ及び画素値に対
してそれぞれ異なる圧縮を施す。パラメトリック画像デ
ータと画素値とは物理的性質が異なるために、その性質
にあった圧縮が好ましい。請求項１５の画像処理装置に
拠れば、基準撮像面の各ラスタを一方の軸とし、もう一
方の直交する軸を対応点の軌跡が形成する直線の傾きと
した場合に構成される複数の平面の相関を用いて圧縮を
行うので、圧縮効率が上がる。

【００４５】請求項１６の画像処理装置に拠れば、パラ
メトリック画像データを記録する空間の解像度を多段階
に順に下げて階層化するので、記録効率が上昇する。請
求項１７の画像処理装置に拠れば、観察者の任意の移動
に対しても、その移動にあった再生画像が出力される。
請求項１８の画像処理装置に拠れば、記憶容量の低減
と、観察者の任意の移動を確保することの両立が図れ
る。

【００４６】請求項１９の画像処理装置に拠れば、前記
パラメトリック画像データは、前もって、それぞれ異な
る位置から同じ被写体を撮像して得た複数の多視点画像
から、前記被写体のそれぞれの輝点の、前記複数の多視
点画像に亙る軌跡を表すものとして得たパラメトリック
画像データデータである。

【００４７】請求項２０の画像処理装置に拠れば、観察
者は、その位置のみならず、視線方向も移動させること
が許される。請求項２１の画像処理装置に拠れば、前記
画像出力手段は表示装置である。請求項２２の画像処理
装置に拠れば、パラメトリック画像データ中の直線状軌
跡データに対応する３次元空間内の輝点が画像面上に投
影される。

【００４８】請求項２３の画像処理装置に拠れば、パラ
メトリック画像データ中の平面状軌跡データに対応する
３次元空間内の輝点が画像面上に投影される。請求項２
４の画像処理装置に拠れば、例えば、画像再生に際し
て、奥行き方向もしくは上下方向の視点移動を考慮する
ことにより、再生画像のゆがみを補正する。

【００４９】請求項２５，２６の画像処理装置に拠れ
ば、前記表示装置はステレオディスプレイまたは円弧状
の表示面をもつディスプレイである。請求項２７の画像
処理装置に拠れば、検出された視線に基づいて処理範囲
を視線方向に限定することにより処理速度の向上を図
る。請求項２８の画像処理装置に拠れば、観察者の１次
元の任意の移動に対してなめらかな再生が可能となる。

【００５０】請求項２９の画像処理装置に拠れば、観察
者の２次元の任意の移動に対してなめらかな再生が可能
となる。請求項３０の画像処理装置に拠れば、観察者の
３次元の任意の移動に対してなめらかな再生が可能とな
る。請求項３１の画像処理装置に拠れば、観察者の任意
の移動に対してなめらかな再生画像を得ることが出来
る。

【００５１】請求項３２の画像処理装置に拠れば、解像
度毎に階層化されたパラメトリック画像データを用い
て、出力装置の解像度に適した画像再生を高速に行うこ
とが出来る。請求項３３の画像処理装置に拠れば、内挿
処理により視点位置の移動に対処する。

【００５２】

【発明の実施の形態】次に、添付図面を参照しながら本
発明の実施形態について説明する。〈原理〉第１図は本発明の画像処理装置を適用した立体
視システム構成を示す図である。第１図のシステムは本
発明の全ての実施形態に共通である。

【００５３】図中、２１は投影する被写体（この例で
は、円板の上に球体と三角錐が載せられている）、２２
ａ〜２２ｆは折れ線状に並べられた多眼カメラ、１００
は本システムの中核をなす画像処理装置、７０は画像処
理装置１００が出力する多視点画像を表示するための視
点検出器８０つき表示スクリーンである。尚、このシス
テムにおいては、表示スクリーン７０に表示する画像を
高速に切り替えたり、あるいは所謂パララックスバリア
方式を採用しても良い。パララックスバリア方式を採用
する場合には、メガネ形状の検出器８０のレンズ部分に
は偏光フィルタなどを用いる。画像の切換方式を採用す
る場合には、視点位置検出器８０は単にメガネの形状を
しているだけで、センサを人間の頭部に固定するために
機能する。

【００５４】画像処理装置１００（他の実施形態の画像
処理装置も）はＥＰＩを用いる。ＥＰＩについて第２
図，第３図を用いて説明する。ＥＰＩとは、他眼カメラ
２２によって各視点から撮影された画像から、各画像に
おける同じ位置にあるラインを集め、それらを視点順に
並べることによって構成された画像である。例えば、第
２図のように、異なる視点位置の複数のカメラ（第２図
の例では４つ）により、あるいは多眼カメラにより１つ
の被写体を撮像すると、画像１〜４が得られる。これら
の画像の夫々において、同じ水平ラインに注目する。多
眼カメラ２２は水平面上に並んでいるので、この水平ラ
イン上にのった被写体上の同じ輝点（第２図において黒
の矩形で表す）は、視点位置に応じて、個々の水平ライ
ン上において水平方向にずれた位置をとる。

【００５５】第２図に示すように、カメラの視点の移動
方向にＸ軸を取り、このＸ軸に垂直にカメラの光軸方向
にＺ軸をとり、カメラの画像空間にｘ軸をとると、第３
図に示すように、横軸ｘが輝点の水平表示位置を示すよ
うに、縦軸Ｘが視点位置を示すように、ｘ軸，Ｘ軸をと
ると、ある水平ライン上に載った１つの輝点の像（即ち
ＥＰＩ）は第３図の点の集合、即ち、ある傾きｋと切片
ｘ₀を有する直線となる。

【００５６】

【数１】

【００５７】第３図において、切片ｘ₀は、最も左のカ
メラ（視点位置Ｘ＝０）によって得られた画像の表示値
を示す。従って、この直線が表す輝点の位置は、カメラ
２２の光学系の焦点距離をｆ、カメラ２２のイメージセ
ンサの画素ピッチをｐとして座標系ＸＺで表すと、第５
図に示すように、

【００５８】

【数２】

【００５９】

【数３】

【００６０】が得られる。式１は、ある輝点の表示位置
ｘは、離散的な視点Ｘ（Ｘ₁，Ｘ₂，…）から得られる
だけでなく、視点Ｘの値が任意の値、即ち、観察者がカ
メラ視点以外の位置Ｘにいる場合にも、表示位置ｘを演
算できることを意味する。この演算は内挿補間処理によ
る。

【００６１】尚、カメラから遠い被写体の多視点画像を
とった場合、その被写体上の一点である輝点位置は、視
点位置の変化に対して、水平方向の変化が少ない。従っ
て、このような被写体のＥＰＩにおける直線の傾きは垂
直に近くなる。即ち、観察者が後方に移動した場合に対
応する多視点画像のＥＰＩは急峻な傾きｋを有するもの
であり、観察者が前方に移動した場合に対応する多視点
画像のＥＰＩは緩い傾きを有するものである。また、手
前にある輝点の直線軌跡が、奥にある輝点の直線軌跡を
多い隠すという、オクルージョン関係も存在する。

【００６２】従って、ある輝点の多視点画像は、その輝
点の多視点画像におけるＥＰＩ上において、直線の傾き
ｋと横軸ｘとの切片ｘ₀とによって定義される。換言す
れば、１つの輝点の複数の多視点画像データは、その輝
点の画素値（濃度値もしくは色データ値）と共に、デー
タｋとｘ₀とに圧縮されることになる。１つのＥＰＩに
は、通常、複数の輝点が含まれる。従って、第３図の直
線を抽出するためには、複数の画像データの中から、同
じ輝点に由来するものだけを同定しなければならない。
この同定の処理を、本実施形態では、輝点に対応する複
数の点によって表される軌跡を検出するという意味で、
「対応点軌跡の検出」と呼ぶ。また、検出された軌跡を
表す直線のデータ、上述のｋとｘ₀とを「軌跡データ」
と呼ぶ。尚、軌跡データには、後述するように、「奥行
きデータ」も含まれる。

【００６３】第４図に画像処理装置１００における処理
の概略を示す。第４図中、カメラ２２からの多視点画像
に基づいて、対応点の軌跡が検出され、続いて軌跡デー
タに圧縮される。即ち、被写体の全ての輝点についての
軌跡データが得られる。これらの軌跡データはパラメト
リックデータとしてファイルに記憶される。

【００６４】以上が、多視点画像を取得し、それをパラ
メトリックデータとしての記憶するまでの処理である。
実際に立体視するときは、観察者の視点に応じて多視点
画像データを補正しなければならないから、その補正処
理、即ち内挿処理が第４図に示されている。即ち、立体
視を行うときは、ファイルからパラメトリックデータが
読み取られ、軌跡データに伸張される。その上で、検出
器８０によって検出された観察者の視点が入力されて、
内挿処理が行われる。この内挿処理は、視点位置の変化
に応じてリアルタイムで行われる必要があるために、本
実施形態では「オンデマンド内挿表示」処理と呼ぶ。

【００６５】これから説明する実施形態に係る画像処理
装置は、軌跡の検出に特徴ある処理を行うもの、或いは
内挿処理に特徴ある処理を行うものが含まれる。〈第１実施形態〉第６図は第１実施形態の画像処理装置
１００の構成、即ち、対応点軌跡検出部５０とオンデマ
ンド内挿表示部６０の構成を示す図である。

【００６６】先ず、対応点軌跡検出部５０について説明
する。図中、画像メモリ１１は、多眼カメラ２２によっ
て撮影した複数の画像を記憶する。メモリ１１の記憶デ
ータは、左右に直線上に並んだ多数の視点から得た被写
体の多視点画像である。対応点軌跡判定部１２はメモリ
１１中の多視点画像をスキャンし、直線状の軌跡を有す
る輝点像を探索する。この探索は係数制御部１３から送
られてくる係数によって制御される。メモリ１４は、軌
跡判定部１２が検出した輝点ｎの軌跡の係数（ｋ_nとｘ
_0n）および同輝点ｎの濃淡値Ｄ_nを記憶する。

【００６７】係数制御部１３が生成する係数は、１組の
傾きｋと切片ｘ₀の値である。前述したように、被写体
の１つの輝点のＥＰＩは、傾きｋと切片のｘ₀によって
定義できるので、判定部における探索は、係数制御部１
３から送られてくる１組の傾きｋと切片ｘ₀によって定
義される直線に載るような輝点の画像を探索することに
等しい。

【００６８】軌跡判定部１２における判定には２つの閾
値が用いられる。この閾値を制御するのが閾値制御部１
５である。メモリ１６は、軌跡判定部１２が検出した対
応点軌跡の画像中での位置と検出した条件とを保持す
る。データ出力部１７はメモリ１４に記憶された対応点
軌跡係数を出力する。オンデマンド内挿表示部６０は、
データ入力部３０と、対応点軌跡内挿部３１と、画像表
示部３３と、視点位置入力部３２とを有する。

【００６９】データ入力部１１０はパラメトリックデー
タをファイル４０から入力する。対応点軌跡内挿部３１
は、観察者の実際の視点位置（視点位置入部３２が検出
器８０から入力した）にもとづいてデータ入力部３０の
対応点軌跡を内挿することにより、その視点から見える
画像を生成する。こうして生成された立体画像は画像表
示部３３によりスクリーン７０に表示される。

【００７０】次に、対応点軌跡内挿部３１の動作をくわ
しく説明する。対応点軌跡内挿部３１は視点検出器８０
から左右方向の視点位置Ｘ_pを得る。もし、視点位置Ｘ_p
がカメラの位置に等しいならば、ファイル４０のパラメ
トリックデータ（軌跡係数と濃淡値情報Ｄとからなる）
の各水平ライン上のすべての輝点について、式１に基づ
いて、画像中の水平方向の表示位置を算出し、その表示
位置に輝点の濃淡値Ｄを描画する。結果として。視点位
置に対応した画像が１枚生成される。

【００７１】視点位置Ｘ_pがカメラの位置に等しくない
場合、即ち、観察者の視点が任意の位置にある場合につ
いて説明する。ここで、第７図に示すように、横方向視
野角をｆ_ovとし、ある水平ライン中のある輝点（Ｘ_I，
Ｚ_I）の水平方向の表示位置をｘとすると、

【００７２】

【数４】

【００７３】で表される。なお、表示スクリーン７０お
よび画像表示部３３に、レンチキュラ方式やメガネ方式
などの両眼立体視が可能な立体表示スクリーン及び立体
画像表示部を用い、かつ、視点位置入力部３２が左右お
のおのの目の位置に対応する視点パラメータを算出し、
これに対応して対応点軌跡内挿部３１が左右おのおのの
目に提示するための画像を生成することにより、カメラ
列状において視点移動可能な両眼立体表示装置となる。

【００７４】また、第１図のように、多眼カメラ２２を
被写体２１の周りを囲む円周状に並べ、表示スクリーン
７０を円形上のディスプレイにすることで、全周方向か
らの映像を眺めることができる。〈第１実施形態の第１変形例〉第１実施形態の立体視シ
ステムは、観察者の視点が、多眼カメラの撮影方向（方
向が既知であれば、直線状あるいは曲線状であるを問わ
ない）に平行に移動する場合において、立体視が維持で
きるものであった。次に、本発明を、前後左右に視点移
動が可能であり、かつ、任意視線方向を眺めることので
きる画像処理装置に適用した第１実施形態の第１変形例
を示す。第１変形例では、第１実施形態の視点検出器８
０を観察者の目の位置及び視線方向を検出できる視線検
出器に置き換える。また、これに伴い視点位置入力部３
２に関しても、観察者の目の位置及び視線方向に対応し
た視線情報を対応点軌跡内挿部３１へ送るものに置き換
える。さらに、対応点軌跡内挿部３１の投影処理を以下
に説明する処理に置き換える。

【００７５】第８図は第１変形例の画像処理装置の対応
点軌跡内挿部３１の投影計算の算出原理を示す図であ
る。第１変形例においては、観察者のＺ方向への移動に
追随して立体視を許すために、第８図に示すように、２
つのカメラ列を設け、その２列のカメラ列の交点Ｂの座
標を（Ｘ_B，Ｚ_B）とする。図中、Ｐは観察者の視点の位
置（Ｘ_p，Ｚ_p）を示し、観察者はＺ軸に対してθ°、そ
して直線ＰＢからはα度だけずれた視線方向を見つめて
いるとする。ただし、ファイル４０には、パラメトリッ
クデータとして、カメラ列１により撮影された画像から
得られる輝点データとカメラ列２より撮影された画像か
ら得られる輝点データとが保持されているものとする。

【００７６】観察者が視点位置Ｐから視線方向θを眺め
ている場合には、第８図に示すように、表示面を左右２
つの領域９０，９１に分け、画像の右側領域９１にはカ
メラ列１により得られた輝点データにより輝点を投影
し、画像の左側領域９２はカメラ２により得られた輝点
データにより輝点を投影する。これにより、観察者の視
点位置、及び、視点方向に対応した１枚の画像が生成さ
れる。

【００７７】ここで、第１実施形態と同じように、ある
水平ライン中のある輝点の水平方向の表示位置をｘ、視
点位置を（Ｘ_p，Ｚ_p）、横方向視野角をｆ_ovとすると、
表示位置ｘは以下の５式で算出する。

【００７８】

【数５】

【００７９】以上の動作により、カメラ列を円弧状に組
み合わせることで、保持されている各画像を撮影した視
点以外の場所に観察者が移動しても、すなわち多眼カメ
ラ２２の視点以外の前後左右の場所に観察者が移動して
も、さらには、観察者が任意視線方向に視線を移動した
場合でも、対応した対象物の画像を表示スクリーン７０
を通して眺めることができる。

【００８０】第１変形例では、入力画像に上下方向の視
差がないため、前後の視点移動に対して生成される画像
には上下方向の歪みが生じる。被写体までの距離に応じ
て、画像の表示時に、上下方向に拡大縮小変換を行うこ
とによりこの歪みを目立たなく補正することができる。〈第１実施形態の第２変形例〉次に、第１実施形態の処
理を高速に行う変形例を第２変形例として示す。第２変
形例では、第１変形例の対応点軌跡内挿部３１の投影処
理を第９図に説明するものに置き換える。

【００８１】第９図において、生成像の左右２つの領域
について、それぞれ画像生成に必要な輝点の領域を示し
ている。第１変形例においては、輝点を投影する際に全
ての輝点を描画するが、第２変形例においては、図に示
すように、輝点の集合をいくつかのブロック領域に領域
分割し、視野に含まれる領域内の点のみを描画し、視野
からはみ出る領域内の点は描画しないようにする。

【００８２】この処理により、画像を生成する上で不必
要な輝点の投影処理を省くことができるため、本実施形
態では高速に対応輝点投影処理を行うことができ、より
スムーズな視線変化が可能になる。〈第１実施形態の第３変形例〉次に、本発明を、前後上
下方向に視点移動可能な画像処理装置に適用した第３変
形例を示す。第３変形例では、第２変形例の対応点軌跡
検出部１８の検出処理、オンデマンド内挿表示部６０の
投影処理を以下に説明する処理に置き換える。

【００８３】まず、対応点軌跡検出部１８の動作を説明
する。第３変形例では、メモリ１１の入力画像は、左右
上下に平面状に並んだ視点から撮影された画像である。
このため、ある輝点の像の軌跡は、入力多視点画像保持
部１１の多視点画像がなす４次元画像空間中の平面とな
る。したがって、対応点軌跡判定部１２の対応点軌跡判
定処理は、この入力４次元画像空間中の平面判定処理に
等しい。

【００８４】左右方向及び観察者の見つめる方向を、第
１実施形態と同じように、Ｘ軸、Ｚ軸をとり、さらに、
上下方向にＹ軸をとると、前記４次元空間は、ＸＹＺの
三次元と、表示位置のｘ軸の４次元空間である。輝点位
置を表す平面は以下の６式で表される。

【００８５】

【数６】

【００８６】ここで、視点位置、軌跡上の輝点位置、軌
跡の位置、傾きは、それぞれ（Ｘ_p，Ｙ_p）、（Ｘ_I，Ｙ_I）、（ｘ₀，ｙ₀）、ｋである。第３変形例の軌跡係数制御部１３の算出する軌
跡係数は、平面の位置と傾きを示す（ｘ₀，ｙ₀，ｋ）の
３つの係数の組みとなる。対応点軌跡判定部１２は軌跡
係数制御部１３および判定しきい値制御部１５に順次制
御され、画像空間中で平面上の軌跡を判定し、検出した
平面の係数を検出軌跡記憶部１４に記憶する。データ出
力部１７によって出力されるパラメトリックデータは、
検出された平面上軌跡の枚数分の、輝点の座標値であ
る。

【００８７】ここで、焦点距離をｆ、画像ピッチをｐと
すると、この平面に対応する輝点の座標（Ｘ_I，Ｙ_I，Ｚ
_I）は以下の７式で算出する。

【００８８】

【数７】

【００８９】次に本実施形態のオンデマンド内挿表示部
５０の処理について説明する。対応点軌跡内挿部３１
は、視点位置を（Ｘ_p，Ｙ_p，Ｚ_p）、横方向視野角をそ
れぞれｆ_ovx、ｆ_ovyとすると、パラメトリックデータの
輝点の表示位置（ｘ，ｙ）を以下の８式を用いて計算す
る。

【００９０】

【数８】

【００９１】第３変形例では、入力画像が上下方向の視
差を持つため、第１変形例、および第２変形例で生じた
ような上下方向の画像の歪みを生じない。〈更なる変形例〉以上の実施形態及び変形例では、あら
かじめ撮影された多視点画像が入力多視点画像保持部１
１に保持されている構成としたが、これを、多視点画像
を実時間で取り込むことのできる多眼テレビカメラに置
き換えることにより、実時間の任意視線画像撮影・表示
システムとなる。

【００９２】さらに、パラメトリックデータ１９を通信
データとして遠隔端末間でやり取りする場合、実時間の
任意視線画像通信システムとなる。なお、本発明は単体
の画像処理装置に適用しても良いし、多視点テレビ、多
視点テレビ電話端末や多視点テレビ会議システムのよう
なシステム機器に適用しても良いし、コンピュータや他
の画像処理装置と組み合わせた復号装置にも適用でき
る。

【００９３】前記第１実施形態とその３つの変形例は本
発明の基本的な実施形態である。これから説明する第２
実施形態は主に、前記第１実施形態に対する圧縮処理の
改良に関するものである。〈第２実施形態〉第２実施形態の画像処理装置の構成を
第１０図に示す。第２実施形態のシステム構成は、第１
実施形態のそれ（第４図）に対して、対応点の軌跡デー
タを圧縮する軌跡データ圧縮部１１０と圧縮された軌跡
データを伸張する軌跡データ伸張部１２０が付加されて
いる点を除けば同じであって、例えば、ＥＰＩを用いる
点も共通している。

【００９４】先ず、軌跡データ圧縮部１２０の構成につ
いて説明する。軌跡データ圧縮部１１０は、軌跡検出部
５０とファイル４０との間におかれ、検出部５０内の検
出軌跡メモリ２４のデータを圧縮してファイル４０に送
る。第１１図は、第２実施形態の軌跡検出部５０の構成
を示す。第１２図は第２実施形態の画像処理装置の軌跡
データ圧縮部１１０の構成を示す図である。図中、分解
部１１１は、対応点軌跡検出部５０のメモリ２４から出
力される直線データを、後述するＸＫ平面上での輝点位
置データ（ｋ_n，ｘ_0n）と輝点の濃淡値データ（Ｄ_n）と
に分解し、前者を輝点位置符号化部１１２に、後者を輝
点濃淡値符号化部１１３に送る。輝点位置符号化部１１
２は直線データ分解部１１１で得られた輝点位置データ
（ｋ_n，ｘ_0n）を符号化する。輝点濃淡値符号化部１１
３は輝点濃淡値データ（Ｄ_n）を符号化する。符号化デ
ータ統合部１１４は輝点位置符号化部１１２と輝点濃淡
値符号化部１１３で符号化されたデータを統合してファ
イル４０に出力する。

【００９５】軌跡データ圧縮部１１０の動作を説明す
る。メモリ２４に記憶されているデータは、直線の切片
位置ｘ_0nと傾きｋ_nと色Ｄ_nの組みである。入力されたこ
れらのデータは、直線データ分解部４１においてＸＫ平
面上での輝点位置データと輝点の濃淡値データに分解さ
れる。ここでいうＸＫ平面とは、第１３図に示すよう
に、直線の位置（Ｘ）と傾き（Ｋ）をそれぞれ直交する
軸にとった平面のことである。１つの軌跡を表す直線デ
ータは、ＸＫ平面上では濃淡値Ｄ_nを持った点として表
すことができる。もしＥＰＩの個数が仮に４８０とすれ
ば、ＸＫ平面には４８０個の点が存在する。

【００９６】直線データ分解部１１１は、直線で多をＸ
Ｋ平面上で輝点位置データに分解する。輝点位置データ
に分解するとは、各ＥＰＩ上で検出されたすべての直線
データをＸＫ平面上にマッピングし、このＸＫ平面を所
定の分解能で離散化（量子化）して、この平面上に点が
存在するかどうかを１／０で表すということである。第
１３図の軌跡データを離散化した結果を第１４図に示
す。

【００９７】第２実施形態の量子化の根拠を説明する。
第２実施形態の対応点軌跡検出部４２（第１１図）は、
直線の傾きを検出する際に、傾きの最小ステップＳ幅を
設定する。この最小ステップ幅の値からＸＫ平面での輝
点間の最小間隔を決定することができる。直線データ分
解部１１１がこの決定した最小間隔で平面を離散化（量
子化）することにより、量子化で失われる情報量を少な
くすることが出来る。また、量子化された輝点の存在範
囲は、検出された直線から予め分かるので、すべての輝
点を包括する最小の矩形で平面をクリッピングすること
ができる。輝点の存在する領域だけを処理対象とするこ
とで、輝点位置のデータ量を低減することができる。第
１５図はＸＫ平面の離散化・グリッピング処理を示して
いる。矩形領域は、第１５図に示すように、最も左上の
点ＵＬと最も下右の点ＬＲによって表される。

【００９８】このようにして得られた輝点位置データを
輝点位置符号化部１１２は、例えばハフマン（ＭＨ）符
号化などで符号化する。これと同時に、クリッピングし
た矩形を一意に特定できる２点（ＵＬとＬＲ）の座標値
も符号化する。ここでは符号化方式としてＭＨ符号化を
用いたが、ＭＲ符号化、ＭＭＲ符号化、算術符号化等で
良い。

【００９９】また、直線データ分解部１１１は、輝点の
軌跡を濃淡値データに分解する。濃淡値データに分解す
るとは、第１５図のように示された輝点位置データをＸ
方向を主走査方向としＫ方向を副走査方向として走査し
て、存在する点の順番に従い、対応する輝点の濃淡値
を、第１６図に示すように、羅列して表すということで
ある。ここではＭＨ符号化を適用したので、この方式の
符号化順序に従っている。走査方向を符号化の方向と一
致させたのは、符号化順序に従う方が輝点位置と後述す
る濃淡値の対応がとりやすいからである。

【０１００】輝点濃淡値符号化部１１３では、輝点の濃
淡値データを、一例としてＲＧＢ各色８ビットのデータ
として考える。尚、対応点軌跡検出部５０で使用する色
空間はＲＧＢの８ビットに限定するものでもない。輝点
濃淡値符号化部１１３は、色データを、一例としてＤＰ
ＣＭ(Differential Pulse Code Modulation)符号化法を
適用して符号化する。但し、ＤＰＣＭ符号化をＸＫ平面
上で空間的に離れた位置にある任意の２点に適用するに
際しては、これら２点の差分値はとらず、そのままのデ
ータを符号化する。ＸＫ平面上で空間的に離れた位置に
ある任意の２点はまったく相関のないデータを表すの
で、相関のない２点のデータの差分を演算することは符
号量の増加を招くので、差分値の符号化を行わないので
ある。

【０１０１】符号化データ統合部１１４は、輝点位置符
号化部１１２と輝点濃淡値符号化部１１３で生成された
符号データを統合し、パラメトリックデータとしてファ
イル４０に出力する。以上のように第２実施形態を構成
することにより、対応点軌跡検出部５０からの出力を第
１実施形態のようにそのままの状態で保持するよりも、
より少ない情報量でデータを保持することができ、機器
に必要なメモリ量が少なくてすむという利点がある。

【０１０２】第１７図は第２実施形態の画像処理装置の
軌跡データ伸長部１２０の構成を示す図である。図中、
符号化データ分解部１２１は、ファイル４０から入力さ
れたパラメトリックデータを、輝点位置の符号データと
輝点濃淡値のデータとに分解して、２つの復号化部１２
２，１２３に出力する。輝点位置復号化部１２２は符号
化データ分解部１２１で得られた輝点位置の符号化デー
タを復号する。輝点濃淡値復号化部１２３は符号化デー
タ分解部１２１で得られた輝点濃淡値データＤを復号す
る。統合部１２４は輝点位置復号化部１２２と輝点濃淡
値復号化部１２３で復号されたデータを統合して直線デ
ータとして出力する。

【０１０３】軌跡データ伸長部１２０では、軌跡データ
圧縮部１１０での処理と全く逆の処理が行われる。ま
ず、符号化データ分解部１２１ではパラメトリックデー
タを読み込み、輝点位置データと輝点濃淡値データとに
分解する。輝点位置復号化部１２２では輝点位置符号デ
ータを、また輝点濃淡値復号化部１２３では輝点濃淡値
データを復号し、直線データ統合部１２４においてこれ
らを直線データとして統合する。

【０１０４】第１８図は第２実施形態の画像処理装置の
オンデマンド内挿表示部６０の構成を示す図である。第
２実施形態のオンデマンド内挿表示部６０の構成は第１
実施形態のそれ（第６図）と同じである。表示スクリー
ン７０を眺める利用者が頭の位置を変えて視点を移動さ
せると、視点検出器８０の信号が変化する。視点位置入
力部３２は、この変化を受けて、視点位置を対応点軌跡
内挿部３１へ送る。対応点軌跡内挿部３１は視点位置を
受けると、視点移動に対応した新たな画像の生成を行
い、画像表示部３３へ画像を送る。画像表示部３３は表
示スクリーン７０へ画像を表示する。

【０１０５】次に、対応点軌跡内挿部３１の動作をくわ
しく説明する。対応点軌跡内挿部３１は視点検出器８０
から左右方向の視点位置Ｘ_pを得る。一方、対応点軌跡
内挿部３１は、パラメトリックデータの各水平ラインの
すべての対応点軌跡について、輝点の画像中の水平方向
の表示位置ｘを算出し、その表示位置ｘに輝点の濃淡値
Ｄを描画する。結果として、視点位置に対応した画像が
１枚生成される。

【０１０６】ここで、ある水平ライン中のある輝点の水
平方向（Ｘ方向）の表示位置をｘ、対応点軌跡の直線位
置をｘ₀、直線傾きをｋ、視点位置をＸ_pとすると、

【０１０７】

【数９】

【０１０８】が得られる。なお、第２実施形態で、表示
スクリーン７０および画像表示部３３に、レンチキュラ
方式やメガネ方式などの両眼立体視が可能な立体表示ス
クリーン及び立体画像表示部を用い、かつ、視点位置入
力部３２が左右おのおのの目の位置に対応する視点パラ
メータを算出するように変形することは、第１実施形態
と同じように可能である。この変形に対応して対応点軌
跡内挿部３１が左右おのおのの目に提示するための画像
を生成することにより、前後左右に視点移動可能な両眼
立体表示装置となる。

【０１０９】〈第２実施形態の第１変形例〉第２実施形
態中の軌跡データ圧縮部１１０では、直線データを輝点
位置データと輝点濃淡値データに分解してそれぞれを符
号化したが、その輝点濃淡値をベクトル量子化を用いて
符号化することも可能である。第１９図は、この第１変
形例で用いられるデータの構成を表す図である。

【０１１０】軌跡データの傾きｋは実際には整数値のみ
ならず、多くは少数で表される値である。前述したよう
に、第２実施形態の対応点軌跡検出部５０は検出する直
線の傾きのステップＳ幅を固定値（△Ｓ）としているた
め、検出された任意の直線の傾きｋは、△Ｓの整数倍
（Ｎ）で表現可能である。ここでは、任意のｋを、

【０１１１】

【数１０】ｋ＝△Ｓ＊Ｎで表すことにする。第１９図は、第２実施形態の検出部
５０によって生成される軌跡データを示す。また、検出
された各輝点の色データを順に並べたテーブルを第２０
図に示す。第１９図の軌跡位置データと第２０図の色デ
ータとは、インデックスの値でリンクされている。ま
た、第１９図において、ｘ₀は輝点のＸ方向の切片位置
を示し、Ｎは式１０に従ってｋを量子化しときのＮであ
る。

【０１１２】第１９図のテーブルは、傾きｋが整数値に
量子化されたことによって情報圧縮がなされた。また、
この色データに対してベクトル量子化を行うことによ
り、データ量を画像の種類によらず一定にしたい場合な
どに有効である。ベクトル量子化に用いるテーブルは、
画像ごとに用意して、符号データと一緒に蓄積あるいは
伝送してもよいし、一般的なテーブルを用意して全ての
画像に適用してもよい。

【０１１３】〈第２実施形態の第２変形例〉次に、第２
実施形態の画像処理装置を、前後左右に視点移動可能な
立体視システムに適用した例を第２変形例として示す。
この第２変形例のシステム構成は、第１０図，第１１図
の通りである。そこで、第２変形例では、第２実施形態
の対応点軌跡内挿部３１の内挿処理を以下に説明する処
理に置き換える。

【０１１４】第２１図は第２変形例の画像処理装置の対
応点軌跡内挿部３１の内挿計算の算出原理を示す図であ
る。図中、ある輝点２００（Ｘ_I，Ｚ_I）が（＋Ｘ，＋
Ｚ）だけずれた点２０１へＸＺ空間で移動する場合を考
える。カメラ２２の光学系の焦点距離をｆとすると、Ｚ
軸の距離ｆのところに撮像面が存在し、その撮像面にお
いては画素ピッチはｐであるとする。

【０１１５】輝点２００（Ｘ_I，Ｚ_I）は撮像面において
はｘ₀位置にある。輝点２００（Ｘ_I，Ｚ_I）が（＋Ｘ，
＋Ｚ）だけＸＺ空間で移動すると、画像の表示位置は２
０２ｘ₀から２０３ｘに移動する。ｘ₀位置が、視点位置
（０，０）の仮想的なカメラの撮像面に投影されている
とする。投影される位置は、直線の切片位置ｘ₀に相当
する。このとき、視点位置が移動した場合の、輝点の像
の移動を考える。

【０１１６】視点２０２がある方向へ移動することは、
逆方向ヘ輝点２００が移動することと等価である。この
原理を利用して、輝点２００が移動量（＋Ｘ，＋Ｚ）だ
け移動した場合の移動後の像２０３（ｘ）を式１１に従
って求める。

【０１１７】

【数１１】

【０１１８】但し、式１１中のｋ，ａは、

【０１１９】

【数１２】

【０１２０】

【数１３】

【０１２１】で表すことが出来る。尚、式１１は、第２
１図において、

【０１２２】

【数１４】

【０１２３】

【数１５】

【０１２４】を解くことにより導かれる。式１１を用い
ることにより、視点移動（−Ｘ、−Ｚ）に対応した、移
動後の像ｘ２０３を求めることができる。次に第２変形
例の対応点軌跡内挿部３１の動作を説明する。視点検出
器８０は左右前後の視点位置（−Ｘ、−Ｚ）を対応点軌
跡内挿部３１へ送る。対応点軌跡内挿部３１は、パラメ
トリックデータの各水平ラインのすべての対応点軌跡に
ついて１１式を計算することにより、前後左右の視点移
動に対応した画像を生成する。

【０１２５】第２変形例では、入力画像に上下方向の視
差がないため、前後の視点移動に対して生成される画像
には上下方向の歪みが生じる。被写体までの距離に応じ
て、画像の表示時に、上下方向に拡大縮小変換を行うこ
とによりこの歪みを目立たなく補正することができる。〈第２実施形態の第３変形例〉次に、第２実施形態の処
理を高速に行うという観点からの提案を第３変形例とし
て示す。この第３変形例では、第２実施形態の対応点軌
跡内挿部３１の内挿処理を以下に説明する処理に置き換
える。

【０１２６】第２２図は第３実施形態の第３変形例の画
像処理装置の対応点軌跡内挿部３１の高速計算処理を示
すフローチャートである。はじめに、本実施形態の対応
点軌跡内挿部３１の内挿処理の原理を説明する。前述の
第２変形例の１１式は以下の１６式に変形できる。

【０１２７】

【数１６】

【０１２８】ここで、ｘ'，ｋ'，Ｚ'を式１７，式１
８，式１９のように定義すると、式１６は、式２０のよ
うに変形される。

【０１２９】

【数１７】

【０１３０】

【数１８】

【０１３１】

【数１９】

【０１３２】

【数２０】

【０１３３】ここで、ｘ^'およびｋ^'は視点位置に依存し
ないため、あらかじめ計算しておくことができる。ま
た、Ｚ^'は対応点軌跡に依存しないため、視点位置の変
化に対して１回だけ計算すればよい。次に、第２実施形
態の第３変形例の対応点軌跡内挿部３１の内挿処理の動
作を説明する。

【０１３４】対応点軌跡内挿部３１はまず第２２図のス
テップＳ１１１およびステップＳ１１２において、すべ
ての対応点の軌跡係数（ｋとｘ₀）について、それぞれ
ｘ^'およびｋ^'を式１７，式１８を用いて求める。次にス
テップＳ１１３で、視点位置（Ｘ_p，Ｚ_p）を視点位置入
力部３２から取得し、ステップＳ１１４において、視点
位置が変化するごとに１回だけ、式１９を用いてＺ^'を
計算する。そして、各水平ラインの全ての対応点軌跡係
数について、ステップＳ１１５で式２０を用いて輝点の
表示位置を算出し、ステップＳ１１６で輝点の濃淡値を
描画する。

【０１３５】以上の処理により、本実施形態では高速に
対応点軌跡内挿処理を行うことができ、よりスムーズな
視点移動が可能になるという実施形態特有の効果があ
る。〈第２実施形態の第４変形例〉次に、本発明を、前後上
下左右に視点移動可能な画像処理装置に適用した例を、
第２実施形態の第４変形例として示す。この第４変形例
は前後左右上下に視点移動可能であるという観点から、
第１実施形態の第３変形例に相当する。本第４変形例で
は、第１変形例の対応点軌跡検出部５０の検出処理、オ
ンデマンド内挿表示部６０の内挿処理を以下に説明する
処理に置き換える。

【０１３６】まず、変形された対応点軌跡検出部５０の
動作を説明する。第２変形例では、入力画像は、左右上
下に平面上に並んだ視点から撮影された画像であった。
このため、ある輝点の像の軌跡は、メモリ４１（第１１
図を参照）の多視点画像がなす４次元画像空間中の平面
となる。したがって、対応点軌跡判定部４２の対応点軌
跡判定処理は、この入力４次元画像空間中の平面判定処
理に等しい。

【０１３７】左右方向及び観察者の見つめる方向を、第
１実施形態と同じように、Ｘ軸、Ｚ軸にとり、さらに、
上下方向にＹ軸をとると、前記４次元空間は、ＸＹＺの
三次元と、表示位置のｘ軸の４次元空間である。輝点位
置を表す平面は以下の２１式で表される。

【０１３８】

【数２１】

【０１３９】ここで、視点位置、軌跡上の輝点位置、軌
跡の位置、傾きは、それぞれ（Ｘ_p，Ｙ_p）、（Ｘ_I，Ｙ_I）、（ｘ₀，ｙ₀）、ｋである。第４変形例の軌跡係数制御部３３（第１１図）
の算出する軌跡係数は、平面の位置と傾きを示す
（ｘ₀，ｙ₀，ｋ）の３つの係数の組みとなる。対応点軌
跡判定部３２は軌跡係数制御部３３および判定しきい値
制御部３５に順次制御され、画像空間中で平面上の軌跡
を判定し、検出した平面の係数を検出軌跡記憶部３４に
記憶する。圧縮部１１０によって出力されるパラメトリ
ックデータは、検出された平面上軌跡の枚数分の、輝点
の座標値である。

【０１４０】次に第４変形例のオンデマンド内挿表示部
６０の処理について説明する。第４変形例のオンデマン
ド内挿表示部６０の構成は第１実施形態のそれ（第６
図）に同じである。対応点軌跡内挿部３１のステップＳ
１１１は、上記の１７式に加えて、以下の２２式を計算
する。

【０１４１】

【数２２】

【０１４２】また、ステップＳ１１５では、以下の２３
式を用いて、輝点の表示位置（ｘ，ｙ）を計算する。

【０１４３】

【数２３】

【０１４４】ステップＳ１１６では、表示位置に合わせ
て輝点の濃淡値を描画する。第４変形例では、入力画像
が上下方向の視差を持つため、第２変形例、および第３
変形例で生じたような上下方向の画像の歪みが生じな
い、という実施形態特有の効果がある。〈第２実施形態の他の変形〉第２実施形態、第１変形例
では、各ＸＫ平面ごとに輝点データ（直線データ）を符
号化しているが、隣り合ったＸＫ平面間の相関を使って
符号化することが可能である。この場合は、既に処理済
みＸＫ平面の輝点位置データを参照テンプレートとし、
今処理しているＸＫ平面の輝点位置データを算術符号化
あるいはこれと類似の符号化、例えば、２値画像の符号
化標準方式であるＱＭコーダなどを用いると、符号化効
率がよい。輝点濃淡値データに関しても、隣接するＸＫ
平面間では相関が非常に強いので、隣接するＸＫ平面間
で濃淡値データの差分をとり、符号化すると符号化効率
が向上する。

【０１４５】パラメトリックデータを通信データとして
遠隔端末間でやり取りする場合、実時間の任意視点画像
通信システムとなる。なお、本発明は単体の画像処理装
置に適用しても良いし、多視点テレビ、多視点テレビ電
話端末や多視点テレビ会議システムのようなシステム機
器に適用しても良いし、コンピュータや他の画像処理装
置と組み合わせた復合装置にも適用できる。

【０１４６】次に説明する第３実施形態は、表示装置の
差異による表示速度の差が大きくならない工夫を行った
ものである。〈第３実施形態〉第２３図は第３実施形態の画像処理装
置１００の構成を示す図である。第３実施形態の画像処
理装置１００も、第１実施形態，第２実施形態と同様
に、軌跡検出部５０と内挿表示部６０とを有する。軌跡
検出部５０の構成は、軌跡データ階層化部２１７を除い
て、第１実施形態，第２実施形態と異なるところがな
い。

【０１４７】軌跡データ階層化部２１７はメモリ２１４
に記憶された対応点軌跡係数を多段階のデータ構造にす
る。その結果、データ出力部２１９は、軌跡データ階層
化部１７で階層的なデータ構造にされたた軌跡係数を出
力する。次に、第３実施形態の動作の概略を説明する。
対応点軌跡検出部５０は、カメラ２２から多視点画像を
受け取り、パラメトリックデータを出力する。オンデマ
ンド内挿表示部６０はパラメトリックデータをファイル
４０から受け取り、利用者の視点位置の変化に応じて表
示スクリーン７０に画像を表示する。パラメトリックデ
ータは、任意視点表示に必要な十分な情報を含んでお
り、そのデータ量は、考えられうる視点移動に対応した
画像を全て保持する場合に比べて、極めて小さい。さら
に、表示装置の性能差に対応すべく、ファイル装置４０
においては、複数の解像度のデータを保持する。このよ
うな構成をとることにより、機器に必要なメモリ量が少
なくてすみ、表示装置の性能に依存しないという利点が
ある。

【０１４８】対応点軌跡検出部５０の動作を説明する。
メモリ２１１は多視点画像を保持する。軌跡係数制御部
２１３は、被写空間中の仮想的な輝点を順次想定し、そ
の輝点が多視点画像中で成す軌跡の係数を算出する。対
応点軌跡判定部２１２は軌跡係数制御部１３の軌跡係数
が示す軌跡がメモリ２１１の画像中に存在するかどうか
判定する。この時、判定閾値制御部１５は対応点軌跡判
定部２１２の判定条件を順次制御する。対応点軌跡判定
部２１２は検出した対応点軌跡の係数をメモリ２１４に
記憶する。また、同時に、検出した対応点軌跡の、画像
中での位置や条件を検出マーク配列保持部２１６に記憶
し、後の軌跡判定時に利用する。対応点軌跡判定部２１
２の処理が終了すると、軌跡データ階層化部２１７は、
メモリ２１４に記憶された対応点軌跡係数をもとに、解
像度を下げた場合に相当する対応点軌跡係数を算出し、
メモリ２１４に追記録する。データ出力部２１９はメモ
リ２１４の値をパラメトリックデータとしてフィル４０
に出力する。

【０１４９】次にオンデマンド内挿表示部６０の動作を
説明する。データ入力部３１１はパラメトリックデータ
をファイル４０から入力して対応点軌跡内挿部３１２へ
送る。この時、入力されたデータを全てではなく、表示
装置３１６に予め設定されているランクに応じたデータ
解像度の軌跡係数だけを伝送する。表示スクリーン７０
を眺める利用者が頭の位置を変えて視点を移動させる
と、視点検出器８０の信号が変化する。視点位置入力部
３１５は、この変化を受けて、視点位置を対応点軌跡内
挿部３１２へ送る。対応点軌跡内挿部３１２は視点位置
を受けると、視点移動に対応した新たな画像の生成を行
い、画像表示部３１６へ画像を送る。画像表示部３１６
は表示スクリーン７０へ画像を表示する。

【０１５０】次に、対応点軌跡判定部３１２の動作を詳
しく説明する。対応点軌跡判定部３１２はまず、メモリ
２１１の入力画像から、ある水平ラインに注目し、その
ラインのエピポーラ・プレーン画像（ＥＰＩ）を作成す
る。第３実施形態がＥＰＩに基づいて軌跡データを生成
することは、第１実施形態，第２実施形態と同じであ
る。

【０１５１】軌跡係数制御部２１３は、軌跡直線の位置
Ｘ₀と傾きｋの２つの係数の組みである軌跡係数を、考
えられるもの全てを順次想定し、算出する。対応点軌跡
判定部２１２は、先ず算出された直線上に対応するＥＰ
Ｉ上で、未処理の画素が存在するかどうか探索する。未
処理の画素が見つかった場合、その画素の濃淡値と、直
線上の他の画素間の濃淡値の例えば差分値及び判定閾値
制御部２１５によって制御された閾値以下となるかどう
か判定する。閾値以下の場合、この直線上のすべての画
素に対して、検出マーク配列保持部１６に検出済として
検出された直線の傾き（奥行き情報）を記録する。そし
て、軌跡係数（直線の位置と傾き）及び対応点の濃淡値
情報（例えば対応点の濃淡値の平均値）をメモリ２１４
に記憶する。データ出力部２１９によって出力されるパ
ラメトリックデータは、各水平ラインごとの、検出され
た直線状軌跡の本数分の、直線の位置と傾きと濃淡値情
報の組みである。

【０１５２】次に、検出された軌跡を記憶するメモリ２
１４について第２４図を用いて詳しく説明する。第２４
図はメモリ２１４に記憶される１つの情報単位を示す。
１つの単位は、対応点軌跡判定部２１２が検出した直線
の切片位置ｘ₀、傾きｋ、色Ｄを記憶する。第２５図
は、メモリ２１４の空間を示す。メモリ２１４の空間の
任意の位置は、横軸と縦軸によって指定される。一例と
して横軸を直線の切片位置ｘ₀とし、縦軸を直線の傾き
ｋとする。メモリ２１４の任意番地（ｘ_0n，ｋ_n）に
は、その深さ方向に、直線（ｘ_0n，ｋ_n）が表す輝点の
色の濃度値及び存在の有無情報が記憶される。即ち、メ
モリ２１４の１ワードは、色濃度がＲＧＢの各々につい
て各８ビットならば、２５ビット（＝８ビット×３＋１
ビット）の長さを有する。

【０１５３】第２５図に示すように、メモリ２１４に
は、画像のサイズや被写体までの距離などに応じて、同
じ被写体の複数通りの軌跡データが記憶されている。第
２５図の例では、画像のサイズや被写体までの距離など
に応じて、一例として４通りの領域が設けられている。
即ち、画像のサイズや被写体までの距離が変わると、解
像度が変化する。そこで、所定距離にある被写体の画像
について所定のサイズを設定し、そのときの解像度を
「タイプ１倍」と呼び、その半分の解像度を「タイプ1/
2倍」、さらに半分の解像度を「タイプ1/4倍」、さらに
半分の解像度を「タイプ1/8倍」と呼ぶものとする。

【０１５４】すると、ある任意の輝点の直線（ｘ_0n，ｋ
_n）が「タイプ１倍」であるならば、その「タイプ1/2
倍」の軌跡データは（ｘ_0n//2，ｋ_n//2）、「タイプ1/4
倍」の軌跡データは（ｘ_0n//4，ｋ_n//4）、「タイプ1/8
倍」の軌跡データは（ｘ_0n//8，ｋ_n//8）となる。メモ
リ２１４に記録されている軌跡係数データの解像度毎に
階層化する方法を説明する。

【０１５５】対応点軌跡判定部２１２により検出された
対応点軌跡は、先ず、メモリ２１４の解像度タイプ１の
領域２３１に記憶される。この解像度タイプ１のデータ
を最大解像度のデータとする。この解像度「タイプ１」
のデータを１／ｍの解像度にさげるには、領域２３１
を、ｍ×ｍのマス毎に区切り、各区画において、その区
画内の全画素の濃度値の平均値を計算し、それを解像度
のタイプ１／ｍの領域に記録する。この解像度を下げる
処理を１／ｍ＝１／２、１／４、１／８で行い、第２５
図のような階層的なデータ構造にする。

【０１５６】ここで、対応点軌跡判定部２１２が行う解
像度変換は通常の解像度変換ではなく、値を持つ画素だ
け、即ち、有無を示すフラグが「有り」である画素だけ
を用いることに注意する。以上により、メモリ２１４は
多段階解像度のデータ構成になり、解像度を下げたデー
タでは当然データ量も少なく、表示装置もしくは観察者
の位置に応じた解像度データだけをファイル４０に記憶
することが許され、記憶量が少なくて済む。また、デー
タ量を少なくすることにより、内挿表示部６０における
表示時での負担を軽減できる。

【０１５７】次に、出力部２１９からファイル４０に出
力されるデータ構造について説明する。データ出力部２
１９によって出力されるパラメトリックデータは、第２
６図に示すように、各水平ラインごとの、検出された直
線状軌跡の本数分の、直線の位置ｘ₀と傾きｋの組みを
パックにして、それを解像度毎に組み合わせた構造にな
っている。尚、カメラ２２の画像空間がｘ方向にｔ個の
画素を有するのであれば、１水平ライン毎にｔ個の軌跡
データを有する。

【０１５８】次に、データ入力部３１１の動作をくわし
く説明する。入力されるパラメトリックデータは対応点
軌跡係数の多段階解像度分のデータを含んでいる。そこ
で、データ入力部３１１は、対応点軌跡内挿部３１２の
性能に併せて予め設定してある表示装置タイプに従っ
て、適切な解像度のデータだけを対応点軌跡内挿部３１
２に伝送する。この時、表示装置の解像度に合わせて、
ｙ方向の解像度を１／ｍに調整することが必要な場合に
は、ファイル４０からの元データのうち、０，ｍ，２
ｍ，３ｍ，４ｍ，…ラインのデータだけを用いる。この
ようにして、解像度を１／ｍ倍した時のデータ量は、ｙ
方向について１／ｍ倍、一つのラインｙについても多少
のデータ量削減（必ずしも１／ｍにならない）が可能で
あり、表示時に計算する輝点の数も減る。したがって、
計算スピードの劣る表示装置においても解像度を下げる
ことで高速表示を実現できる。

【０１５９】次に、対応点軌跡内挿部３１２の動作を詳
しく説明する。対応点軌跡内挿部３１２は視点検出器８
０から左右方向の視点位置を得る。そして、パラメトリ
ックデータの各水平ラインの全ての対応点軌跡につい
て、輝点の画像中の水平方向の表示位置を算出し、その
表示位置に輝点の濃淡値を描画する。結果として、視点
位置に対応した画像が１枚生成される。

【０１６０】ここで、ある水平ライン中のある輝点の水
平方向の表示位置、対応点軌跡の直線の切片位置、直線
傾き、視点位置をそれぞれ、Ｘ_I、ｘ₀、ｋ、Ｘ_p とすると、表示位置は以下の２４式で算出する。

【０１６１】

【数２４】

【０１６２】ただし、輝点の大きさは解像度により変化
する。解像度が最大の時には、輝点のサイズは１×１
で、解像度が１／２、１／４となるに従って２×２、４
×４と輝点のサイズは大きくなる。なお、表示スクリー
ン７０および画像表示部に、レンチキュラ方式やメガネ
方式などの両眼立体視が可能な立体表示スクリーン及び
立体画像表示部を用い、かつ、視点位置入力部３１５が
左右おのおのの目の位置に対応する視点パラメータを算
出し、これに対応して対応点軌跡内挿部１１２が左右お
のおのの目に提示するための画像を生成することによ
り、前後左右に視点移動可能な両眼立体表示装置とな
る。

【０１６３】〈第３実施形態の第１変形例〉次に、第３
実施形態の画像処理装置を、前後左右に視点移動可能な
画像処理装置に適用した例を第１変形例として示す。こ
の第１変形例では、第３実施形態の対応点軌跡内挿部３
１２の内挿処理を以下に説明する処理に置き換える。第
２７図は第１変形例の画像処理装置の対応点軌跡内挿部
３３１の内挿計算の算出原理を示す図である。

【０１６４】図中、ある輝点４５１（Ｘ_I，Ｚ_I）が（＋
Ｘ，＋Ｚ）だけずれた点４５２へＸＺ空間で移動する場
合を考える。カメラ２２の光学系の焦点距離をｆとする
と、Ｚ軸の距離ｆのところに撮像面が存在し、その撮像
面においては画素ピッチはｐであるとする。輝点４５１
（Ｘ_I，Ｚ_I）は撮像面においてはｘ₀位置にある。輝点
４５１（Ｘ_I，Ｚ_I）が（＋Ｘ，＋Ｚ）だけＸＺ空間で移
動すると、画像の表示位置は４５５のｘ₀から４５６の
ｘに移動する。ｘ₀位置が、視点位置（０，０）の仮想
的なカメラの撮像面に投影されているとする。投影され
る位置は、直線の切片位置ｘ₀に相当する。このとき、
視点位置が移動した場合の、輝点の像の移動を考える。

【０１６５】視点４５５がある方向へ移動することは、
逆方向ヘ輝点４５１が移動することと等価である。この
原理を利用して、輝点４５１が移動量（＋Ｘ，＋Ｚ）だ
け移動した場合の移動後の像４５５（ｘ）を式２５に従
って求める。

【０１６６】

【数２５】

【０１６７】但し、式２５中のｋ，ａは、

【０１６８】

【数２６】

【０１６９】

【数２７】

【０１７０】で表すことが出来る。尚、式２５は、第２
７図において、

【０１７１】

【数２８】

【０１７２】

【数２９】

【０１７３】を解くことにより導かれる。式２５を用い
ることにより、視点移動（−Ｘ、−Ｚ）に対応した、移
動後の像ｘ４５６を求めることができる。第１変形例で
は、入力画像に上下方向の視差がないため、前後の視点
移動に対して生成される画像には上下方向の歪みが生じ
る。被写体までの距離に応じて、画像の表示時に、上下
方向に拡大縮小変換を行うことによりこの歪みを目立た
なく補正することができる。

【０１７４】次に第１変形例の対応点軌跡内挿部３１２
の動作を説明する。視点検出器８０は左右前後の視点位
置（−ｘ、−ｚ）を対応点軌跡内挿部３１２へ送る。対
応点軌跡内挿部３１２は、パラメトリックデータの各水
平ラインのすべての対応点軌跡について２５式を計算す
ることにより、前後左右の視点移動に対応した画像を生
成する。

【０１７５】第１変形例では、入力画像に上下方向の視
差がないため、前後の視点移動に対して生成される画像
には上下方向の歪みが生じる。被写体までの距離に応じ
て、画像の表示時に、上下方向に拡大縮小変換を行うこ
とによりこの歪みを目立たなく補正することができる。〈第３実施形態の第２変形例〉次に、第３実施形態の処
理を高速に行う例を第２変形例として示す。第２変形例
では、第３実施形態の対応点軌跡内挿部３１２の内挿処
理を以下に説明する処理に置き換える。

【０１７６】第２８図は第２変形例の画像処理装置の対
応点軌跡内挿部３１２の高速計算処理を示すフローチャ
ートである。はじめに、第２変形例の対応点軌跡内挿部
１１２による内挿処理の原理を説明する。前述の２５
式は以下の３０式に変形できる。

【０１７７】

【数３０】

【０１７８】ここで、ｘ'，ｋ'，Ｚ'を式３１，式３
２，式３３のように定義すると、式３０は、式３４のよ
うに変形される。

【０１７９】

【数３１】

【０１８０】

【数３２】

【０１８１】

【数３３】

【０１８２】

【数３４】

【０１８３】ここで、ｘ^'およびｋ^'は視点位置に依存し
ないため、あらかじめ計算しておくことができる。ま
た、Ｚ^'は対応点軌跡に依存しないため、視点位置の変
化に対して１回だけ計算すればよい。次に、第３実施形
態の第２変形例の対応点軌跡内挿部３３１の内挿処理の
動作を説明する。

【０１８４】対応点軌跡内挿部３３１はまず第２８図の
ステップＳ６１およびステップＳ６２において、すべて
の対応点の軌跡係数（ｋとｘ₀）について、それぞれｘ^'
およびｋ^'を式３１，式３２を用いて求める。次にステ
ップＳ６３で、視点位置（Ｘ_p，Ｚ_p）を視点位置入力部
３１５から取得し、ステップＳ６４において、視点位置
が変化するごとに１回だけ、式３３を用いてＺ^'を計算
する。そして、各水平ラインの全ての対応点軌跡係数に
ついて、ステップＳ６５で式３４を用いて輝点の表示位
置を算出し、ステップＳ６６で輝点の濃淡値を描画す
る。

【０１８５】以上の処理により、本実施形態では高速に
対応点軌跡内挿処理を行うことができ、よりスムーズな
視点移動が可能になるという実施形態特有の効果があ
る。〈第３実施形態の第３変形例〉次に、第３実施形態を、
前後上下左右に視点移動可能な画像処理装置に適用した
例を第３変形例として示す。本第３変形例では、第２変
形例の対応点軌跡検出部５０の検出処理、オンデマンド
内挿表示部６０の内挿処理を以下に説明する処理に置き
換える。

【０１８６】まず、対応点軌跡検出部５０の動作を説明
する。本実施形態では、メモリ２１１の入力画像は、左
右上下に平面上に並んだ視点から撮影された画像であ
る。このため、ある輝点の像の軌跡は、メモリ２１１の
多視点画像がなす４次元画像空間中の平面となる。した
がって、対応点軌跡判定部２１２の対応点軌跡判定処理
は、この入力４次元画像空間中の平面判定処理に等し
い。この平面は、以下の３５式で表される。

【０１８７】

【数３５】

【０１８８】ここで、視点位置、軌跡上の輝点位置、軌
跡の位置、傾きは、それぞれ（Ｘ_p，Ｙ_p）、（Ｘ_I，Ｙ_I）、（ｘ₀，ｙ₀）、ｋである。第３変形例の軌跡係数制御部２１３（第２３
図）の算出する軌跡係数は、平面の位置と傾きを示す
（ｘ₀，ｙ₀，ｋ）の３つの係数の組みとなる。対応点軌
跡判定部２１２は軌跡係数制御部２１３および判定しき
い値制御部２１５に順次制御され、画像空間中で平面上
の軌跡を判定し、検出した平面の係数を検出軌跡記憶部
２１４に記憶する。データ出力部２１９によって出力さ
れるパラメトリックデータは、検出された平面上軌跡の
枚数分の、輝点の座標値である。

【０１８９】次に第３変形例のオンデマンド内挿表示部
６０の処理について説明する。第３変形例のオンデマン
ド内挿表示部６０の構成は第３実施形態のそれ（第２３
図）に同じである。対応点軌跡内挿部３１２のステップ
Ｓ６１は、上記の３１式に加えて、以下の３６式を計算
する。

【０１９０】

【数３６】

【０１９１】また、ステップＳ６５では、以下の３７式
を用いて、輝点の表示位置（ｘ，ｙ）を計算する。

【０１９２】

【数３７】

【０１９３】ステップＳ６６では、表示位置に合わせて
輝点の濃淡値を描画する。第３変形例では、入力画像が
上下方向の視差を持つため、第１変形例、および第２変
形例で生じたような上下方向の画像の歪みが生じない、
という実施形態特有の効果がある。〈第３実施形態の他の変形例〉以上の第３実施形態及び
その変形例では、あらかじめ撮影された多視点画像がメ
モリ２１１に保持されている構成としたが、これを、多
視点画像を実時間で取り込むことのできる多眼テレビカ
メラに置き換えることにより、実時間の任意視点画像撮
影・表示システムとなる。

【０１９４】さらに、パラメトリックデータを通信デー
タとして遠隔端末間でやり取りする場合、実時間の任意
視点画像通信システムとなる。なお、本発明は単体の画
像処理装置に適用しても良いし、多視点テレビ、多視点
テレビ電話端末や多視点テレビ会議システムのようなシ
ステム機器に適用しても良いし、コンピュータや他の画
像処理装置と組み合わせた復合装置にも適用できる。
尚、本発明は、複数の機器から構成されるシステムに適
用しても、１つの機器から成る装置に適用しても良い。
また、本発明はシステム或は装置にプログラムを供給す
ることによって達成される場合にも適用できることはい
うまでもない。

【０１９５】