JPH07129792A - 画像処理方法および画像処理装置 - Google Patents

Abstract

(57)【要約】 【目的】観察者の目の位置が前後方向を含む各方向へ移
動した場合に、その移動した位置から見た画像をリアル
タイムで与えることができるようにする。 【構成】異なる複数の視点からの画像を保持する多視点
画像データベース３と、観察者の視点位置を検出する視
点検出器２と、視点検出器２の出力から視点パラメータ
を求める視点パラメータ算出部７を設ける。さらに、表
示スクリーン１の種類や視点パラメータなどから画像の
再構成に必要なパラメータを計算し、このパラメータを
用いて再構成画像の各画素が多視点画像データベース３
中の画像のどの画素に対応するかを計算し、対応する画
素を多視点画像データベース３から抽出する画素値生成
部１７を設ける。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、視点の異なる複数の画
像を入力とし、観察者の現在の目の位置に応じた視点位
置を有する画像を出力する画像処理方法および画像処理
装置に関する。

【０００２】

【従来の技術】従来、複数の視点から見た画像を立体表
示する装置として、ステレオディスプレイやレンチキュ
ラディスプレイなどがある。ステレオディスプレイで
は、２台のカメラから得られた画像が交互に高速で切り
替えて表示される。観察者は、この切り替えに同期した
シャッターメガネや偏光メガネを用いることにより、映
像を立体的に観察することができる。またレンチキュラ
ディスプレイは、図１３に示すように、例えば４台のカ
メラからの画像をそれぞれＡ,Ｂ,Ｃ,ＤとしてＡの画素
位置(１,１)をＡ(１,１)と表記すると、液晶ディスプレ
イ９１において画像Ａ〜Ｄを画素単位に配置し、液晶デ
ィスプレイ９１の前面にレンチキュラシート９２を張り
付けることにより、４視点からの映像を立体的に表現す
ることができるというものである。

【０００３】

【発明が解決しようとする課題】しかしながら、上述し
た従来のステレオディスプレイでは、画像の撮影時にお
けるカメラの撮影方向の立体像しか観察することができ
なかった。すなわち、一般に２台のカメラを固定して物
体を撮影するので、観察者が視点（目の位置）を移動し
ても見える画像は同じであり、観察者側での視点移動が
反映しないので臨場感に欠けるという問題点がある。ま
た、レンチキュラディスプレイでは、観察者の視点位置
の左右方向の移動に対応できるが、それは複数のカメラ
のどれかから見た画像をとびとびに見るというものであ
って連続的な視点移動には対応できないうえに、前後方
向への視点を移動させることはできなかった。前後方向
への視点移動に関しては、コンピュータ・グラフィック
スで作成された画像を基に立体視する場合には行なわれ
ているが、これはコンピュータ・グラフィックスという
画像としては単純でかつ画像内の点の対応する３次元空
間内での座標値が全て明らかになっているという特殊な
状況下のものである。カメラで撮影した画像を立体視す
る場合には、前後方向への視点の移動は、これまでほと
んど検討されていない。

【０００４】本発明の目的は、観察者の目の位置が前後
方向を含む各方向へ移動した場合に、その移動した位置
から見た画像をリアルタイムで与えることができる画像
処理方法および画像処理装置を提供することにある。

【０００５】

【課題を解決するための手段】本発明の画像処理方法
は、それぞれ異なる位置を視点とする複数の画像を多視
点画像データとして入力する多視点画像入力工程と、観
察者の目の位置を検出する視点検出工程と、前記視点検
出工程で検出された位置に基づいて該位置を視点とする
画像を前記多視点画像データから再構成する画像再構成
工程と、再構成された画像を画像出力装置に出力する画
像出力工程とを有する。

【０００６】本発明の画像処理装置は、それぞれ異なる
位置を視点とする複数の画像を多視点画像データとして
入力する多視点画像入力手段と、観察者の目の位置を検
出する視点検出手段と、前記視点検出手段で検出された
位置に基づいて該位置を視点とする画像を前記多視点画
像データから再構成する画像再構成手段と、再構成され
た画像を画像出力装置に出力する画像出力手段とを有す
る。

【０００７】

【作用】観察者の目の位置を検出し、観察者から見える
画像を複数枚の画像から再構成するので、観察者の視点
が移動した場合にそれに対応した画像をスムーズに出力
することができる。

【０００８】視点位置の異なる複数の画像からなる多視
点画像データとしては、１台以上のカメラから得られる
多数枚の画像や、データベースに蓄積されている多数の
画像を用いることができる。画像の再構成を行なうため
には、多視点画像データは十分に細かい間隔で撮影位置
を変化させた画像であることが望まれるが、後述するよ
うに、撮影位置の間隔が粗い場合であっても、撮影され
た画像に対して補間処理を施して隣接する撮影位置間の
位置を視点位置とする画像を生成し、これら撮影された
画像および生成した画像を多視点画像データとすること
により、画像の再構成を行なうことができる。

【０００９】画像の再構成は、観察者の目の位置および
画像出力装置の種類から画像の再構成に必要なパラメー
タを計算し、再構成される画像の各画素が多視点画像デ
ータの画像のどの画素に対応するかを求めたパラメータ
に基づいて計算し、対応する画素を多視点画像データか
ら抽出することにより行なわれる。この場合、観察者の
目の位置が多視点画像データ中のいずれの画像の視点位
置とも一致しない場合であっても、画素間の対応は求め
られ、したがって、画像の再構成が良好に行なわれる。

【００１０】画像出力装置としては、通常のディスプレ
イの他、ステレオディスプレイ、ヘッド・マウンテッド
・ディスプレイ、レンチキュラディスプレイなどを使用
することができる。

【００１１】

【実施例】次に、本発明の実施例について図面を参照し
て説明する。

【００１２】《第１の実施例》図１は本発明の第１の実
施例の画像処理装置の構成を示すブロック図である。こ
の画像処理装置は、固定設置された表示スクリーン１を
介し、後述のように再構成された画像を利用者（観察
者）に対して表示するためのものである。すなわちこの
画像処理装置は、表示スクリーン１を眺める利用者の目
の位置を検出する視点検出器２と、多視点画像データを
保持するデータベースである多視点画像データベース３
と、表示スクリーン１に関するパラメータを保持する表
示パラメータ４と、多視点画像データベース３内の各画
像についてその画像を撮影したときの撮影位置の座標系
のデータを格納した撮影視点座標系保持部５と、多視点
画像データベース３内の画像の画像パラメータを保持す
る多視点画像パラメータ保持部６と、視点検出器２から
の信号を基に視点パラメータを算出するともに利用者の
視点位置が変化した場合に更新信号１５を出力する視点
パラメータ算出部７と、利用者の視点に応じた画像を生
成する画像生成部８と、画像生成部８で生成した画像を
表示スクリーンに表示する画像表示部１４と、画像の再
構成のために各画素値を算出して画素値信号１６として
画像生成部８に出力する画素値生成部１７とによって構
成されている。

【００１３】ここで多視点画像データベース３内の画像
は、十分に細かい間隔で平面上に並んだ多数の視点か
ら、表示すべき対象物を撮影した画像である。これに対
応して、撮影視点座標系保持部５に保持されているデー
タは、これら画像を撮影した際の視点の並びの平面を表
わす座標系のデータである。また、画像生成部８は、更
新信号１５を受信したときに画像の生成を行なうように
構成されており、画像生成部８からは、再構成後の画像
すなわち表示スクリーン１上の画像での注目する画素の
座標を示す画素インデクス信号９が出力されている。画
素インデクス信号９は、画像の再構成を行なう場合に、
再構成後の画像の全画素を一巡するように順次出力され
るようになっている。

【００１４】次に、画素値生成部１７の構成を説明す
る。画素値生成部１７には、画素インデクス信号９の示
す画素に対応する視線方向を視点パラメータおよび表示
パラメータから算出する視線パラメータ算出部１０と、
仮想視点を算出する仮想視点パラメータ算出部１１と、
仮想視点における画像の、視線方向に対応する画素位置
を算出する画素位置算出部１２と、画素位置と仮想視点
パラメータをもとに多視点画像データベース３内の画像
から対応する画素値を算出する画素値算出部１３とが設
けられている。ここで、仮想視点とは、視線パラメータ
の表す視線と撮影視点座標系が表わす撮影視点の並びの
平面との交点のことである。また、画素位置算出部１２
における画素位置の算出には、視線パラメータ、撮影視
点座標系、仮想視点パラメータおよび多視点画像パラメ
ータが使用される。画素値算出部１３で算出された画素
値は画素値信号１６となる。

【００１５】次に本実施例の動作について説明する。ま
ずこの動作の概要を説明する。

【００１６】表示スクリーン１を眺める利用者が頭の位
置を変えて視点を移動させると、視点検出器２の出力す
る信号が変化し、視点パラメータ算出部７はこの変化を
受けて更新信号１５を画像生成部８ヘ送る。画像生成部
８は、更新信号１５を受けると、視点移動に対応した新
たな画像の生成を開始する。この新たな画像の生成は、
画像生成部８が、全ての画素について画素インデクス信
号９を順次出力し、各画素ごとの画素値信号１６を画素
値生成部１７より順次獲得することによって行なわれ
る。ここで、画素値生成部１７の動作を説明する。

【００１７】画素値生成部１７では、まず、視線パラメ
ータ算出部１０が、視点パラメータ算出部７から視点パ
ラメータを、表示パラメータ保持部４から表示パラメー
タをそれぞれ取得し、入力した画素インデクス信号９に
対応する視線パラメータを算出する。次に、仮想視点パ
ラメータ算出部１１が、撮影視点座標系保持部５から撮
影視点座標系を取得し、視線パラメータの表す視線と撮
影視点座標系が表す撮影視点の並びの平面との交点（仮
想視点）を表す仮想視点パラメータを算出する。一方、
画素位置算出部１２は、多視点画像パラメータ保持部１
７から多視点画像パラメータを取得し、そのほか視線パ
ラメータ、撮影視点座標系、仮想視点パラメータから、
仮想視点における画像の、視線方向に対応する画素位置
を算出する。そして画素値算出部１３が、画素位置と仮
想視点パラメータとを基に、多視点画像データベース３
内の画像から、対応する画素値信号１６を算出する。こ
のようにして、画素値生成部１７は、入力する画素イン
デクス信号９ごとに画素値信号１６を算出して画像生成
部８に出力する。

【００１８】画像生成部８は、画素値信号１６を画素値
算出部１３より全ての画素について得ると、これを画像
表示部１４ヘ送る。画像表示部１４は、こうして生成さ
れた新しい視点に対応した画像を表示スクリーン１ヘ表
示する。これにより、利用者の視点移動に伴う一連の画
像生成動作が完了する。後述する説明から明らかになる
ように、利用者は、前後上下左右に視点を移動した場
合、そこが多視点画像データベース３に保持されている
各画像を撮影した視点以外の場所であっても、その視点
移動に合わせた対象物の画像を表示スクリーン１を通し
て眺めることができる。

【００１９】次に、各部の処理を詳しく説明する。ただ
し、説明をわかりやすくするため、以下では上下方向の
視差をないものとし、左右方向の視差のみを考慮する。

【００２０】まず、視線パラメータ算出部１０における
視線パラメータの算出処理を説明する。図２は視線パラ
メータ算出部１０の算出原理を示す図であり、図３は視
線パラメータ算出部１０の処理を示すフローチャートで
ある。

【００２１】図２において、表示スクリーン１の端点２
１、表示スクリーン１上の注目する画素位置２３および
利用者の視点位置２４の位置ベクトルをそれぞれ

【００２２】

【外１】 とする。また、ベクトル２２は、長さが表示スクリーン
１のピクセルピッチであり、傾きが表示スクリーン１の
傾きに一致するベクトルであり、これを

【００２３】

【外２】 とする。視線２５は、注目する画素位置２３に対応し、
この視線２５の傾きを表わすベクトル２６を

【００２４】

【外３】 とする。

【００２５】まず、視点パラメータ算出部７から視点パ
ラメータを取得する（ステップ３１）。視点パラメータ
とは、図２における利用者の視点位置２４である。ま
た、表示パラメータ保持部４から表示パラメータを取得
する（ステップ３２）。表示パラメータとは、表示スク
リーン１の端点２１、表示スクリーンベクトル２２で表
わされる。表示スクリーンベクトル２２は、表示スクリ
ーン１の傾き、実サイズおよびピクセルサイズから決定
される。次に、図２に示される配置に基づき、画素イン
デクス信号９に対応して、表示スクリーン１上の注目す
る画素位置２３を以下の(1)式で算出する（ステップ３
３）。ただし、画素インデクス信号９をｉとする。

【００２６】

【数１】 画素位置２３を求めたら、視点位置２４から眺めた場合
の画素位置２３の方向に対応する視線パラメータを求め
（ステップ３４）、視線パラメータを求める処理を終了
する。視線パラメータは、視点位置２４および視線ベク
トル２６の組

【００２７】

【外４】 として表わされる。視線２５が画素位置２３および視点
位置２４の２点を通る直線であるから、視線ベクトル２
６は以下の(2)式で算出できる。

【００２８】

【数２】 次に、仮想視点パラメータ算出部１１と画素位置算出部
１２での処理を説明する。図４は、仮想視点パラメータ
と画素位置の算出原理を示す図である。

【００２９】上述したように本実施例では、多視点画像
データベース３内の各画像を撮影した際の視点は同一平
面上に並んでいる。この並びの平面の断面が図において
視点並び直線４１として表わされている。仮想視点４２
は、視線２５と視点並び直線４１との交点として表わさ
れ、その位置ベクトルを

【００３０】

【外５】 とする。また、視点並び直線４１の傾きを表すべクトル
４３を

【００３１】

【外６】 とし、視点並び直線４１の端点４４の位置ベクトルを

【００３２】

【外７】 とする。視野４５は仮想視点４２における画角θを表わ
し、ベクトル４６は、多視点データの画像を撮影したカ
メラの焦点距離を長さとし、カメラの傾きをその傾きと
するものであって、

【００３３】

【外８】 という。仮想視点４２における仮想的な撮像面４７、仮
想的な撮像面４７と視線２５との交点である画素位置４
８を定める。画素位置４８の位置ベクトルが

【００３４】

【外９】 で示されている。さらに、長さが仮想的な撮像面４７の
１ピクセルピッチであり、傾きが仮想的な撮像面４７の
傾き（通常は焦点ベクトル４６に直角）に一致するべク
トル４９を

【００３５】

【外１０】 とする。

【００３６】ここで、視点並びべクトル４３および視点
並び直線４１の端点４４が、撮影視点座標系を表す値と
して撮影視点座標系保持部５に保持されている。また焦
点ベクトル４６および撮像面ベクトル４９は、多視点画
像パラメータとして多視点画像パラメータ保持部６に保
持されている。撮像面ベクトル４９の大きさは、実際の
撮像面のセルサイズ（１ピクセルの大きさ）に等しい。

【００３７】以上のように各点、各ベクトルがあわされ
るとき、仮想視点４２は以下の(3),(4)式で表される。

【００３８】

【数３】 ここで仮想視点を一意に表すパラメータとして、ｔを仮
想視点パラメータとする。αは視線方向の係数である。
仮想視点パラメータ算出部１１は、(3),(4)式を解くこ
とによりｔを算出し、

【００３９】

【外１１】 を算出する。

【００４０】また、画素位置４８は以下の(5),(6)式で
表される。

【００４１】

【数４】 ここで、画素位置４８を一意に表すパラメータとして
ｉ'を画素位置パラメータとする。βは視線方向の係数
である。画素位置算出部１２は、(5),(6)式を解くこと
により画素位置パラメータｉ'を算出し、これを出力と
する。

【００４２】次に、画素値算出部１３の処理について具
体的に説明する。本実施例では、多視点画像データベー
ス３に保持されている多視点画像は、十分細かい視点間
隔で撮影した画像である。そこで、まず、仮想視点パラ
メータ算出部１１で算出された仮想視点パラメータの示
す仮想視点４２からの画像の近似画像として、この仮想
視点４２に一番近い視点から撮影された画像を、多視点
画像データベース３の中から見つける。次に、この画像
のうち、画素位置算出部１２で算出された画素位置４８
に最も近い位置の画素の値を取得し、これを出力の画素
値信号１６とする。

【００４３】以上、説明をわかりやすくするため、上下
方向の視差を省略した場合についての各部の処理を説明
したが、上下方向の多視点画像を用意すれば、同様の方
法により、上下方向の視差を考慮に入れた前後上下左右
に視点移動可能な両眼立体表示装置となる。なお、表示
スクリーン１および画像表示部８に、レンチキュラ方式
やメガネ方式などの両眼立体視が可能な立体表示スクリ
ーンおよび立体画像表示部を用い、かつ、視点パラメー
タ算出部７が左右おのおのの目の位置に対応する視点パ
ラメータを算出し、これに対応して画像生成部８が左右
おのおのの目に提示するための画像を生成することによ
り、前後上下左右に視点移動可能な両眼立体表示装置と
なる。

【００４４】《第２の実施例》次に、多視点画像データ
ベース３に保持されている各画像の視点間隔が十分に細
かくない場合でも、自由に視点移動表示が行なえる画像
処理装置を説明する。この画像処理装置は、上述した第
１の実施例の画像処理装置の多視点画像データベース３
と画素値算出部１３との間に視点間補間処理部が設けら
れた構成となっている。視点間補間処理部は、多視点画
像データベース３中の粗い視点間隔で撮影された各画像
から、補間処理を行なうことによって、十分に細かい視
点間間隔の一群の画像を生成するものである。こうして
十分に細かい視点間間隔とされた画像を用いることによ
り、第１の実施例と同様に、利用者の視点の変化に対応
した画像が生成される。

【００４５】以下、視点間補間処理部について詳しく説
明する。ここでは、説明をわかりやすくするため、上下
方向の視差を考慮しない場合について説明する。このと
き、多視点画像データベース３中には、左右方向に１直
線上に並んだ各撮影視点からの画像が保持されている。

【００４６】図５は、視点間補間処理部の処理の流れを
示すフローチャートである。多視点画像データベース３
の中から粗い視点間隔で撮影された画像を取得する（ス
テップ５１）。次に、取得した各画像間で対応点探索
（動きベクトル検出）を行なう（ステップ５２）。対応
点探索が終了したら、撮影視点に基づく補間処理を行な
い、十分に細かい視点間間隔の画像を生成し（ステップ
５３）、処理を終了する。

【００４７】まず、対応点検索について、図６のフロー
チャートを用いて説明する。

【００４８】初期設定として、注目ラスタを各画像の第
１ラスタにセットする（ステップ６１）。次に、各画像
の注目ラスタをワークメモリ（不図示）に読み込み（ス
テップ６２）、仮想的に１番目のエピポーラプレーンを
構成する。ここで言うｊ番目のエピポーラプレーンと
は、図７に示すように画像平面上の各点ＥＰ_j(ｘ,ｉ)が

【００４９】

【数５】ＥＰ_j(ｘ,ｉ)＝Ｎ_i(ｘ,ｊ) を満たすような点ＥＰ_j(ｘ,ｉ)の集合のことである。た
だし、Ｎ_i(ｘ,ｊ)はｉ番目の画像（ここでは、ｉ＝１〜
４）のｊライン目におけるｘ番目の画素値、すなわちｉ
番目の画像において座標が(ｘ,ｊ)で表される画素の値
を表している。カメラなどの画像入力機器が等間隔で並
行に設置されている場合、このエピポーラプレーン上で
は、対応する点は全て直線上に並んで存在する。したが
って、画像の補間はこの直線上で行なえばよいことにな
る。

【００５０】そこで、対応点が存在する直線を抽出し
（ステップ６３）、得られた直線から対応点を計算し、
記憶する（ステップ６４）。具体的な対応点計算アルゴ
リズムを以下に示す。

【００５１】手順Ａ１： ＥＰ_j(ｘ,１)を注目画素と
し、ｍ＝ｋ₁〜ｋ₁＋ｋ₂の範囲内で

【００５２】

【数６】 を満足するｍを全て求める。ただしＴＨ２は対応点を見
つけるための閾値であり、ここでは１６００（＝４×２
０²）に設定している。また、ｋ₁は入力画像の撮影方法
に依存した値で、カメラを等間隔に配置し光軸を平行に
して撮影した場合には、ｋ₁＝０である。ｋ₂はカメラ間
隔と物体までの距離により決定される値で、ここでは２
０に設定（すなわち、２０画素以上は移動しないと仮
定）している。

【００５３】手順Ａ２： ｘ＝１〜ｎ_xの全てのｘにつ
いて、手順Ａ１を繰り返し、ｘの値と対応するｍの値を
全て保持する。ただし、ｎ_xは画像の主走査方向の画素
数を表す。また、ＥＰ_j(ｘ＋ｍ×(ｉ−１),ｉ)が存在し
ない場合は、このｍにおける対応点は存在しないとして
処理を続ける。

【００５４】手順Ａ３： 手順Ａ１およびＡ２により求
まった傾きｍの直線から優先順位１の対応点を求め、メ
モリに記憶する。複数の対応点が求まった場合は、便宜
上、全てを優先順位１の対応点として記憶する、対応点
として求まった画素は処理済の画素とする。

【００５５】手順Ａ４： 手順Ａ１〜Ａ３を１サイクル
として、処理済でない画素に対して上記のサイクルを繰
り返す。手順Ａ１においてＥＰ_j(ｘ＋ｍ×(ｉ−１),ｉ)
が処理済の場合には、ＥＰ_j(ｘ＋ｍ×(ｉ−１),ｉ)−Ｅ
Ｐ_j(ｘ,１)＝０として処理を続ける。手順Ａ３において
傾きｍの直線より求まった対応点が既に処理済の場合
は、この点を対応点から除外する。第ｎサイクルで求ま
った対応点は優先順位ｎの対応点として記憶する。

【００５６】手順Ａ５： 手順Ａ４の処理を行なっても
未処理の画素が減らなくなったならば、ＥＰ_j(ｘ,２)を
注目画素として、手順Ａ１〜Ａ４を実行する。ただし、
ｘ＝１〜ｎ_xである。

【００５７】手順Ａ６： 手順Ａ５の処理を行なっても
未処理の画素が減らなくなったならば、ＥＰ_j(ｘ,３)を
注目画素として、手順Ａ１〜Ａ４を実行する。ただし、
ｘ＝１〜ｎ_xである。

【００５８】手順Ａ７： 以下同様にしてｊの値を１ず
つ増やして、手順Ａ１からＡ４を繰り返す。

【００５９】手順Ａ８： 最終ラスタまで上記の処理が
行なわれたら、対応点探索処理を終える。

【００６０】上記のように処理を行なうことにより、２
枚の画像からでは求められなかった対応点が検出でき、
また、オクルージョンなどにも対応できるので、対応点
探索の精度が向上する。

【００６１】次に、画像の視点間補間処理（図５のステ
ップ５３）について説明する。この補間処理は、上述の
対応点探索処理で探索された対応点を対象として行なわ
れる。ここで、図８を例にして、この補間処理の具体的
アルゴリズムを説明する。

【００６２】図８は、ｊ番目のエピポーラプレーンを表
している。ａ1,ｂ1は優先順位１の対応点を示し、ｃ2は
優先順位２の対応点を示している。入力した画像間で、
等間隔にｎ枚の画像を発生させる場合を考える。ここで
は、説明の簡単のため、ｎ＝２とする。このことをｊ番
目のエピポーラプレーンで考えた場合、図９に示すよう
に、エピポーラプレーンのライン間に２本ずつライン
（内挿ラインj-2,j-3,j-5,j-6,j-8,j-9）を内挿し、原
画のエピポーラプレーンの対応点同士を結んだ線分上に
ある内挿されたラインの画素値には、該当する対応点の
画素値の平均値に設定する。すなわち、以下の手順を実
行する。

【００６３】手順Ｂ１： 優先順位１の対応点を結んだ
線分を考え、この線分上にある内挿ラインの画素値を線
分上にある原画の画素値の平均値に設定する。図９の対
応点ａ1およびｂ1を例に取れば、対応点同士を結んだ線
分上の点ａおよびｂの画素値には、それぞれａ1,ｂ1で
示される画素値の平均値をとる。

【００６４】手順Ｂ２： 優先順位１の対応点の処理が
終わったら、次に優先順位２の対応点の処理を行なう。
この処理は、基本的には手順Ｂ１と同じであるが、手順
Ｂ１において既に補間された画素に対しては処理を行な
わない。これを図９を用いて説明する。画素(３,８)と
(２,９)は対応点ｃ2により通常は補間されるが、既に優
先順位１のａ1という対応点により補間されているの
で、この画素に対しては何も処理を行なわない。従って
対応点ｃ2により補間される画素は(９,２),(８,３),
(６,５),(５,６)の４画素である。（図９の例では、こ
の部分でオクルージョンが発生しているが、このように
処理することによりオクルージョンの問題を解決でき
る。） 手順Ｂ３： 優先順位２の対応点の処理が終わったなら
ば、次に優先順位３の対応点の処理に入る。手順Ｂ２と
同様に、既に補間処理済みの画素に対しては、何も行な
わない。以下同様にして、最終の優先順位の対応点まで
処理を行なう。

【００６５】手順Ｂ４： 手順Ｂ１〜Ｂ３の処理を終え
ても補間されなかった画素に対しては、周囲の画素から
内挿を行なう。この時の方法としては、周囲の画素値の
平均値を用いる方法や最近傍画素の値をそのまま用いる
方法などがある。

【００６６】手順Ｂ５： ｊ＝１〜ｎ_yについて、手順
Ｂ１〜Ｂ４の処理を行ない、内挿ラインj-2,j-3,j-5,j-
6,j-8,j-9を用いて補間画像を得る。例えば、図１０に
示す補間画像＃２は、内挿ラインj-2(ｊ＝１〜ｎ_y）を
並ベることによって構成できる。補間画像＃３,＃５,＃
６,＃８,＃９に関しても同様である。

【００６７】以上述ベたようにして多視点画像データベ
ース３の画像から視点間補間画像を生成することによ
り、撮影視点並びの直線上で、撮影視点以外の視点から
の画像が得られる。これにより、任意視点からの画像を
生成することができる。したがって、多視点画像データ
ベース３には十分に細かい視点間隔の多視点画像を保持
しておく必要がなく、多視点画像データベース３の記憶
容量が大幅に削減されるという効果がある。

【００６８】また、以上の説明は上下方向の視差を省略
した場合のものであるが、多視点画像データベース３
に、平面上の格子状の粗い視点間隔の各撮影視点から撮
影した画像を保持し、まず、左右方向にこれらの画像を
視点間補間し、次に上下方向に視点間補間することによ
り、上下方向の視差も考えた画像が生成される。

【００６９】《第３の実施例》次に、表示スクリーン１
として、利用者の頭部に固定される形のいわゆるへッド
・マウンテッド・ディスプレイ（ＨＭＤ）タイプの画像
表示装置を利用する例を説明する。本実施例の画像処理
装置は、ＨＭＤに適合するように、第１の実施例の画像
処理装置の視線パラメータ算出部１０の処理を以下のよ
うに変更したものである。上下方向の視差を考慮しない
場合について説明する。

【００７０】図１１は、本実施例における視線パラメー
タ算出部１０の算出原理を示す図である。図において、
ベクトル２２は、長さが表示スクリーン１のピクセルピ
ッチであり、傾きが表示スクリーン１の傾きに一致する
べクトルすなわち

【００７１】

【外１２】 である。また、表示スクリーン１上の注目する画素位置
２３と利用者の視点位置２４の位置ベクトルをそれぞれ

【００７２】

【外１３】 とする。さらに、ベクトル１１１は、視点位置２４から
表示スクリーン１の中央点ヘのべクトルすなわち

【００７３】

【外１４】 である。ベクトル２６は、注目する画素位置２３に対応
する視線２５の傾きをあらわす視線ベクトル

【００７４】

【外１５】 である。

【００７５】ＨＭＤタイプの表示装置では、視点検出器
２が一体化されており、利用者の視点２４の位置に加え
て、正面方向の傾き、すなわち正面ベクトル１１１の傾
きを検出できる。表示スクリーンベクトル２２の傾き
は、正面ベクトル１１１の傾きから決定される（通常は
直角）。一方、視点位置２４から表示スクリーン１まで
の距離すなわち正面ベクトル１１１の長さ、およびピク
セルピッチすなわち表示スクリーンベクトル２２の長さ
は、ＨＭＤの形状によって決定される固定した値であ
り、この値は表示パラメータ保持部４に保持される。し
たがって、注目する画素位置２３および視線ベクトル２
６を以下の式で算出できる。ただし、画素インデクス９
をｉとする。

【００７６】

【数７】 以上の構成により、ＨＭＤタイプの表示装置において、
多視点画像データベース中の画像から任意の視点移動表
示を行なうことができる。また、表示スクリーン１が頭
部に固定されていなくても、固定して設置された表示ス
クリーン１と利用者の視点位置２４の相対的位置関係が
固定であるようなコックピットタイプの表示装置を用い
ても、本実施例と同じ視線パラメータ算出部１０の処理
で、任意の視点移動表示ができる画像処理装置となる。
このときは、視点検出器２の代わりに、基準座標におけ
る視点位置２４をハンドルなどで操作する視点位置入力
装置を用ればよい。

【００７７】《第４の実施例》上述の各実施例では、多
視点画像データベース３に保持されている各画像の視点
が平面上に配置されていたが、本発明はこれに限られる
ものではない。例えば、視点が十分細かい間隔で円柱面
に配置され、円柱面から内側を撮影したような画像（全
周型の画像）を利用することもできる。本実施例は、こ
の全周型の画像を対象としたものである。

【００７８】本実施例の構成は、第１の実施例の仮想視
点パラメータ算出部１１および画素位置算出部１２の処
理内容を、以下に説明する処理に置き換えた形となる。
上下方向の視差を省略した場合について説明する。図１
２は仮想視点パラメータおよび画素位置の算出原理を示
す図である。

【００７９】多視点画像データベース３を構成する画像
を撮影した際に視点が並んでいた円柱の断面を視点並び
円１２１とする。視線２５と視点並び円１２１との交点
が仮想視点４２であり、その位置ベクトルを

【００８０】

【外１６】 とする。視点並び円１２１の中心１２２の位置ベクトル
を

【００８１】

【外１７】 とし、中心１２２から仮想視点４２ヘのべクトル１２３
を

【００８２】

【外１８】 とする。また、仮想視点４２における画角θの視野４５
を定義する。ベクトル４６は、長さが画像を撮影したカ
メラの焦点距離であり、傾きがカメラの傾きであるべク
トルすなわち

【００８３】

【外１９】 である。仮想視点４２における仮想的な撮像面４７を考
え、仮想的な撮像面４７と視線２５との交点である画素
位置４８を定める。この画素位置４８の位置ベクトルを

【００８４】

【外２０】 とする。また、ベクトル４９は、長さが仮想的な撮像面
４７の１ピクセルピッチであって、傾きが仮想的な撮像
面４７の傾き（通常は焦点ベクトル４６に直角）に一致
するべクトルすなわち

【００８５】

【外２１】 である。全周型であるので、円１２１と視線２５との交
点は２つあり、仮想視点４２でない方の交点をニセの仮
想視点１２４とする。

【００８６】ここでは、視点並び円１２１の中心１２２
および半径Ｒが、撮影視点座標系を表す値として撮影視
点座標系保持部５に保持されている。仮想視点ベクトル
１２３は、仮想視点４２を一意に表すパラメータをｔと
して、以下の式で定義される。

【００８７】

【数８】 また、焦点ベクトル４６および撮像面ベクトル４９は、
多視点画像パラメータとして多視点画像パラメータ保持
部６に保持されている。撮像面ベクトル４９の大きさ
は、撮像面の実サイズおよびピクセルサイズから決定さ
れる。

【００８８】次に、仮想視点パラメータの算出処理を説
明する。図１２の示すジオメトリにしたがうと、仮想視
点４２は以下の２通りの式で表される。

【００８９】

【数９】 ここでαは視線方向の係数である。２式を解くことによ
りｔを算出する。このとき、ニセの仮想視点１２４と正
しい仮想視点４２を区別するために、以下の式が成り立
つように解を吟味する。

【００９０】

【数１０】 そののち、図１２に示す配置を考慮して、第１の実施例
と同様に画素位置を算出すればよい。以上の構成によ
り、全周型の画像を利用した、全周型の任意の視点移動
が可能な画像処理装置が得られる。この画像処理装置で
は、撮影された対象物を、３６０度のあらゆる方向かつ
あらゆる距離から眺めることができる。

【００９１】《その他の実施例》以上の各実施例では、
予め撮影された画像が多視点画像データベース３に保持
されている構成としたが、これを、多視点からの画像を
実時間で取り込むことのできる多眼テレビカメラに置き
換えることにより、実時間の任意視点画像撮影・表示シ
ステムとなる。

【００９２】なお、本発明は、単体の画像処理装置に適
用しても良いし、多視点テレビ、多視点テレビ電話端末
や多視点テレビ会議システムのようなシステム機器に適
用しても良いし、コンピュータや他の画像処理装置と組
み合わせた複合装置にも適用できる。

【００９３】

【発明の効果】以上説明したように本発明は、観察者の
目の位置を検出し、観察者から見える画像を複数枚の画
像から再構成することにより、観察者の視点が移動した
場合にそれに対応した画像をスムーズに出力することが
でき、さらに、従来は対応できなかった前後方向ヘの視
点移動が可能となるという効果がある。

【図面の簡単な説明】

【図１】本発明の第１の実施例の画像処理装置の構成を
示すブロック図である。

【図２】第１の実施例での視線パラメータの算出原理を
示す図である。

【図３】視線バラメータ算出部の処理を示すフローチャ
ートである。

【図４】第１の実施例での仮想視点パラメータと画素位
置の算出原理を示す図である。

【図５】本発明の第２の実施例の画像処理装置における
視点間補間処理部の処理の流れを示すフローチャートで
ある。

【図６】対応点探索処理を示すフローチャートである。

【図７】ｊ番目のエピポーラプレーンを示す図である。

【図８】補間処理アルゴリズムを説明するための図であ
る。

【図９】補間処理アルゴリズムを説明するための図であ
る。

【図１０】補間処理アルゴリズムを説明するための図で
ある。

【図１１】第３の実施例での視線パラメータの算出原理
を示す図である。

【図１２】第４の実施例での仮想視点パラメータと画素
位置の算出原理を示す図である。

【図１３】従来のレンチキュラディスプレイを表わす概
略斜視図である。

【符号の説明】

１ 表示スクリーン ２ 視点検出器 ３ 多視点画像データベース ４ 表示パラメータ保持部 ５ 撮影視点座標系保持部 ６ 多視点画像パラメータ保持部 ７ 視点パラメータ算出部 ８ 画像生成部 ９ 画素インデクス信号 １０ 視線パラメータ算出部 １１ 仮想視点パラメータ算出部 １２ 画素位置算出部 １３ 画素値算出部 １４ 画像表示部 １５ 更新信号 １６ 画素値信号 １７ 画素値生成部 ２３ 画素位置 ２４ 視点位置 ２５ 視線 ４１ 視点並び直線 ４２ 仮想視点 ４７ 仮想的な撮像面

Claims (22)

【特許請求の範囲】
1. 【請求項１】 それぞれ異なる位置を視点とする複数の
   画像を多視点画像データとして入力する多視点画像入力
   工程と、観察者の目の位置を検出する視点検出工程と、
   前記視点検出工程で検出された位置に基づいて該位置を
   視点とする画像を前記多視点画像データから再構成する
   画像再構成工程と、再構成された画像を画像出力装置に
   出力する画像出力工程とを有する画像処理方法。
2. 【請求項２】 多視点画像入力工程が、予め多数の方向
   から撮影された画像を格納したデータベースから画像を
   入力する工程である請求項１に記載の画像処理方法。
3. 【請求項３】 多視点画像入力工程が、１台以上のカメ
   ラから画像を入力する工程である請求項１に記載の画像
   処理方法。
4. 【請求項４】 多視点画像入力工程が、カメラによって
   撮影された複数の画像に対して補間処理を施して前記カ
   メラの撮影位置とは異なる視点位置を有する画像を生成
   し、前記生成された画像と前記撮影された画像とを入力
   する工程である請求項１に記載の画像処理方法。
5. 【請求項５】 多視点画像データに含まれる画像に対し
   て補間処理を施して新たな画像を生成し、前記新たな画
   像を前記多視点画像データに追加する視点間補間処理工
   程をさらに有する請求項１に記載の画像処理方法。
6. 【請求項６】 視点検出工程が、観察者の目の位置とと
   もに前記観察者の視線方向も検出する工程である請求項
   １に記載の画像処理方法。
7. 【請求項７】 画像再構成工程が、観察者の目の位置お
   よび画像出力装置の種類から画像の再構成に必要なパラ
   メータを計算し、該パラメータを用いて再構成画像の各
   画素が多視点画像データ中の画像のどの画素に対応する
   かを計算し、対応する画素を多視点画像データから抽出
   して画像を再構成する工程である請求項１に記載の画像
   処理方法。
8. 【請求項８】 画像出力装置が通常のディスプレイであ
   る請求項１に記載の画像処理方法。
9. 【請求項９】 画像出力装置がステレオディスプレイで
   ある請求項１に記載の画像処理方法。
10. 【請求項１０】 画像出力装置がヘッドマウンテッドデ
    ィスプレイである請求項１に記載の画像処理方法。
11. 【請求項１１】 画像出力装置がレンチキュラディスプ
    レイである請求項１に記載の画像処理方法。
12. 【請求項１２】 それぞれ異なる位置を視点とする複数
    の画像を多視点画像データとして入力する多視点画像入
    力手段と、観察者の目の位置を検出する視点検出手段
    と、前記視点検出手段で検出された位置に基づいて該位
    置を視点とする画像を前記多視点画像データから再構成
    する画像再構成手段と、再構成された画像を画像出力装
    置に出力する画像出力手段とを有する画像処理装置。
13. 【請求項１３】 多視点画像入力手段が、予め多数の方
    向から撮影された画像を格納したデータベースから画像
    を入力するものである請求項１２に記載の画像処理装
    置。
14. 【請求項１４】 多視点画像入力手段が、１台以上のカ
    メラから画像を入力するものである請求項１２に記載の
    画像処理装置。
15. 【請求項１５】 多視点画像入力手段が、カメラによっ
    て撮影された複数の画像に対して補間処理を施して前記
    カメラの撮影位置とは異なる視点位置を有する画像を生
    成し、前記生成された画像と前記撮影された画像とを入
    力するものである請求項１２に記載の画像処理装置。
16. 【請求項１６】 多視点画像データに含まれる画像に対
    して補間処理を施して新たな画像を生成し、前記新たな
    画像を前記多視点画像データに追加する視点間補間処理
    手段をさらに有する請求項１２に記載の画像処理装置。
17. 【請求項１７】 視点検出手段が、観察者の目の位置と
    ともに前記観察者の視線方向の検出も行なう請求項１２
    に記載の画像処理装置。
18. 【請求項１８】 画像再構成工程は、観察者の目の位置
    および画像出力装置の種類から画像の再構成に必要なパ
    ラメータを計算し、該パラメータを用いて再構成画像の
    各画素が多視点画像データ中の画像のどの画素に対応す
    るかを計算し、対応する画素を多視点画像データから抽
    出して画像を再構成するものである請求項１２に記載の
    画像処理装置。
19. 【請求項１９】 画像出力装置が通常のディスプレイで
    ある請求項１２に記載の画像処理装置。
20. 【請求項２０】 画像出力装置がステレオディスプレイ
    である請求項１２に記載の画像処理装置。
21. 【請求項２１】 画像出力装置がヘッドマウンテッドデ
    ィスプレイである請求項１２に記載の画像処理装置。
22. 【請求項２２】 画像出力装置がレンチキュラディスプ
    レイである請求項１２に記載の画像処理装置。