JPH08115439A - 画像データ処理装置及び画像再生装置 - Google Patents

画像データ処理装置及び画像再生装置

Info

Publication number
JPH08115439A
JPH08115439A JP6247759A JP24775994A JPH08115439A JP H08115439 A JPH08115439 A JP H08115439A JP 6247759 A JP6247759 A JP 6247759A JP 24775994 A JP24775994 A JP 24775994A JP H08115439 A JPH08115439 A JP H08115439A
Authority
JP
Japan
Prior art keywords
image
corresponding point
viewpoint
locus
point locus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP6247759A
Other languages
English (en)
Inventor
Kouichirou Tanaka
宏一良 田中
Akihiro Katayama
昭宏 片山
Eita Ono
英太 小野
Shinya Urisaka
真也 瓜阪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP6247759A priority Critical patent/JPH08115439A/ja
Priority to US08/540,870 priority patent/US5764236A/en
Priority to DE69529260T priority patent/DE69529260T2/de
Priority to EP95307235A priority patent/EP0707287B1/en
Publication of JPH08115439A publication Critical patent/JPH08115439A/ja
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/349—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/286—Image signal generators having separate monoscopic and stereoscopic modes
    • H04N13/289—Switching between monoscopic and stereoscopic modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/305—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using lenticular lenses, e.g. arrangements of cylindrical lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/337—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using polarisation multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/341—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using temporal multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof

Abstract

(57)【要約】 【目的】 複数の固定カメラにより撮影された多視点画
像を用いて、与えられた視点位置に対応して視点位置の
異なる画像をスムーズに表示すること。 【構成】 それぞれ異なる位置を視点とする複数の画像
データを保持する多視点画像データ保持手段と、前記多
視点画像データ間において相互に対応する対応点の軌跡
を規定する係数を順次検出する対応点軌跡検出手段と、
前記多視点画像データに存在する複数の前記対応点軌跡
のそれぞれの前記係数を出力する手段と、前記係数を入
力する係数入力手段と、視点位置を入力する手段と、与
えられた前記視点位置に対応する画像を前記係数入力手
段からの前記対応点軌跡の係数に基づいて内挿生成する
画像内挿生成手段と、生成された前記画像を表示装置に
出力する手段とを有する。

Description

【発明の詳細な説明】
【０００１】
【産業上の利用分野】本発明は、視点の異なる複数の画
像を入力とし、表示装置に対する観察者の現在の目の位
置に応じた視点位置を有する画像を出力する際の画像デ
ータ処理装置および画像再生装置に関する。
【０００２】
【従来の技術】従来、複数の視点から見た画像を立体表
示する装置として、ステレオディスプレイやレンチキュ
ラーディスプレイなどがある。ステレオディスプレイ
は、２台のカメラから得られる画像を交互に高速に切り
替えて表示される。観察者は、この切り替えに同期する
シャッターメガネや偏光メガネを用いることにより、映
像を立体的に観察することができる。また、レンチキュ
ラディスプレイは、例えば４台のカメラからの画像をそ
れぞれ画素単位に並べ替え、前面にレンチキュラーシー
トを張り付けることにより４視点の映像を立体的に表現
することができるというものである。
【０００３】
【発明が解決しようとしている課題】しかしながら、上
述した従来のステレオディスプレイでは、画像の撮影時
におけるカメラの撮影方向の立体像しか観察することが
できなかった。すなわち、一般に２台のカメラを固定し
て物体を撮影するので、観察者が視点（目の位置）を移
動しても見える画像は同じであり、観察者の側での視点
移動が反映しないので臨場感に欠けるという問題点があ
る。また、レンチキュラーディスプレイでは、観察者の
視点の左右方向の移動に対応できるが、それは複数のカ
メラのどれかから見た画像をとびとびに見るというもの
であって、連続的な視点移動には対応できないうえに、
前後方向への視点を移動させることはできなかった。前
後方向への視点移動に関しては、コンピュータ・グラフ
ィックスで作成された画像を基に立体視する場合には行
われているが、これはコンピュータ・グラフィックスと
いう画像としては単純でかつ画像内の点の対応する３次
元空間内での座標値が全て明らかになっているという特
殊な状況下のものである。カメラで撮影した画像を立体
視する場合には、前後方向への視点移動は、これまでほ
とんど検討されていない。
【０００４】本発明は、上記問題点に鑑みてなされたも
ので、観察者の目の位置が前後方向を含む各方向へ移動
した場合に、その移動した位置から見た画像を与えるこ
とができる画像処理方法及び画像処理装置を提供するこ
とにある。
【０００５】
【課題を解決するための手段】本発明の画像データ処理
装置のある形態は、視点に応じた画像を生成するための
画像データ処理装置で、それぞれ異なる位置を視点とす
る複数の画像データを保持する多視点画像データ保持手
段と、前記多視点画像データ間において相互に対応する
対応点の軌跡を規定する係数を順次検出する対応点軌跡
検出手段と、前記多視点画像データに存在する複数の前
記対応点軌跡のそれぞれの前記係数を出力する手段とを
有することを特徴とする。
【０００６】前記対応点軌跡検出手段の好ましい形態
は、前記多視点画像データのエピポーラ・プレーン画像
上での対応点軌跡である直線を規定する係数を検出する
ことを特徴とする。
【０００７】前記対応点軌跡検出手段の好ましい形態
は、前記多視点画像データの対応点軌跡である平面を規
定する係数を検出することを特徴とする。
【０００８】本発明の画像再生装置のある形態は、視点
に応じた画像を再生する画像再生装置で、多視点画像デ
ータ間において相互に対応する対応点の軌跡を規定する
係数を入力する係数入力手段と、視点位置を入力する手
段と、与えられた前記視点位置に対応する画像を前記対
応点軌跡の係数に基づいて内挿生成する画像内挿生成手
段と、生成された前記画像を表示装置に出力する手段と
を有することを特徴とする。
【０００９】前記対応点軌跡の係数の好ましい形態は、
前記多視点画像データのエピポーラ・プレーン画像上で
の対応点軌跡である直線を規定する係数であることを特
徴とする。
【００１０】前記対応点軌跡の係数の好ましい形態は、
前記多視点画像データの対応点軌跡である平面を規定す
る係数であることを特徴とする。
【００１１】前記画像再生装置のより好ましい形態は、
前記表示装置を観察する観察者の目の位置を検出する視
点位置検出手段を有し、該視点位置換出手段からの視点
位置が前記視点位置入力手段に入力されることを特徴と
する。また、前記画像内挿生成手段が生成した画像の歪
みを補正する歪み補正手段をさらに備えたことを特徴と
する。
【００１２】前記表示装置の好ましい形態は、ステレオ
ディスプレイであることを特徴とする。
【００１３】前記表示装置の好ましい形態は、レンチキ
ュラディスプレイであることを特徴とする。
【００１４】
【作用】与えられた視点位置に応じて、観察者から見え
る画像を複数枚の画像から再構成するので、視点位置が
移動した場合にそれに対応した画像をスムーズに出力す
ることができる。
【００１５】視点位置の異なる複数の画像からなる多視
点画像データとしては、１台以上のカメラから得られる
多数枚の画像や、データベースに蓄積されている多数の
画像を用いることができる。撮影位置の間隔が粗い場合
であっても、撮影された画像に対して視点間補間処理を
施して隣接する撮影位置間の位置を視点位置とする画像
を生成する。また同時に、前後方向へ視点位置が移動し
た場合の画像の再構成も行なえる。
【００１６】画像の視点間補間処理は、入力画像上での
対応点の軌跡検出処理と、検出された軌跡の内挿処理の
組み合わせにより行う。
【００１７】更に、画像を再生する際、任意視点表示に
必要な十分な被写体の対応点軌跡係数を含んだデータだ
けでよいので、そのデータ量は、考えられうる視点移動
に対応した画像をすべて保持する場合に比べて、極めて
小さく、そのため、機器に必要なメモリ量が少なくてす
む。
【００１８】
【実施例】
（第１実施例）図１は第１実施例の画像処理装置の構成
を示す図である。図中、１１は左右に直線上に並んだ多
数の視点から被写体を撮影した画像を保持する入力多視
点画像保持部、１２は入力多視点画像保持部１１の多視
点画像を視点順に並べた時に存在する直線状の対応点軌
跡かどうかを判定する対応点軌跡判定部、１３は対応点
軌跡判定部１２が検出する対応点軌跡の係数を模索する
ために仮の軌跡係数を順次想定し、算出する軌跡係数制
御部、１４は対応点軌跡判定部１２が検出した軌跡係数
および軌跡の濃淡値を記憶する検出軌跡記憶部である。
１５は対応点軌跡判定部１２の対応点軌跡判定の模索の
際に判断基準となるしきい値を制御する判定しきい値制
御部、１６は対応点軌跡判定部１２が検出した対応点軌
跡のオクルージョン対応の付加情報を保持する検出マー
ク配列保持部、１７は検出軌跡記憶部１４に記憶された
対応点軌跡係数及び濃淡値を出力するデータ出力部であ
る。１８は前述の各部（１１〜１７）で構成される対応
点軌跡検出部である。
【００１９】１９はデータ出力部１７が出力する対応点
軌跡係数であるパラメトリックデータであり、機器の記
憶領域に記憶される、もしくは、持ち運び可能な磁気記
録媒体や、光記録媒体に記憶される。パラメトリックデ
ータ１９は、任意視点表示に必要な十分な被写体の対応
点軌跡係数を含んでおり、そのデータ量は、考えられう
る視点移動に対応した画像をすべて保持する場合に比べ
て、極めて小さく、そのため、機器に必要なメモリ量が
少なくてすむという利点がある。
【００２０】１１０は記憶されたパラメトリックデータ
１９を入力するデータ入力部、もちろん、データ出力部
１７から直接通信によってパラメトリックデータ１９を
入力しても構わない。１１１はの視点位置にもとづいて
データ入力部１１０の対応点軌跡を内挿することによ
り、その視点から見える画像を生成する対応点軌跡内挿
部、１１２はから視点位置を入力する視点位置入力部、
１１３はへ画像を表示する画像表示部、１１４は固定し
て設置される画像表示用の表示スクリーン、１１５は表
示スクリーン１１４を眺める利用者の目の位置を検出す
る視点検出器である。１１６は前述の各部（１１０〜１
１３）で構成されるオンデマンド内挿表示部である。そ
して、上記構成のオンデマンド内挿表示部１１６におい
て、データ入力部１１０は、パラメトリックデータ１９
を入力して対応点軌跡内挿部１１１へ送る。表示スクリ
ーン１１４を眺める利用者が頭の位置を変えて視点を移
動させると、視点検出器１１５の視点位置に対応した信
号が変化する。視点位置入力部１１２は、この視点位置
の変化を受けて、視点位置を対応点軌跡内挿部１１１へ
送る。対応点軌跡内挿部１１１は視点位置を受けると、
視点移動に対応した新たな画像の生成を行い、画像表示
部１１３へ画像を送る。そして、画像表示部１１３は利
用者の視点位置の変化に応じた画像を表示スクリーン１
１４に表示する。ここで、視点位置入力部１１２に入力
される視点位置は、視点検出器１１５からの信号でなく
ても、例えば、利用者が任意にジョイスティックなどの
視点位置移動手段を用いて視点位置信号を変化させても
構わない。
【００２１】次に、対応点軌跡判定部１２の動作を図２
を用いてより詳細に説明する。
【００２２】対応点軌跡判定部１２はまず、複数の視点
位置のカメラで撮影された多視点画像１〜４を保持する
多視点画像保持部１１の入力画像から、ある水平ライン
に注目し、そのラインのエピポーラ・プレーン画像(EP
I) を作成する。EPI とは、各視点から撮影された画像
から共通のラインを集めて視点順に並べることによって
構成された、すなわち図２のように横軸が画像水平表示
位置で縦軸が視点位置である画像である。ここで、入力
多視点画像保持部１１の入力画像が左右に直線状に並ん
だ視点から撮影された画像であることから、ある輝点の
像の対応点軌跡はこのEPI 上で直線となる。
【００２３】したがって、対応点軌跡判定部１２の対応
点軌跡判定処理は、EPI 上の対応点軌跡に対応する直線
を規定する処理に等しい。すなわち、軌跡係数制御部１
３は、図２に示すような直線の位置と傾きの２つの係数
の組みである軌跡係数を順次想定し、算出された直線上
に対応するEPI の画素間の濃淡値の例えば差分値及び差
分値の総和が判定しきい値制御部１５によって制御され
た値以下になるまで、軌跡係数を想定算出する。そして
しきい値以下時の軌跡係数（直線の位置と傾き）及び対
応点の濃淡値情報（例えば対応点の濃淡値の平均値）を
検出軌跡記憶部１４に記憶する。データ出力部１７によ
って出力されるパラメトリックデータ１９は、各水平ラ
インごとの、検出された直線状軌跡の本数分の、直線の
位置と傾きと濃淡値情報の組みである。
【００２４】次に、対応点軌跡内挿部１１１の動作をよ
り詳細に説明する。
【００２５】対応点軌跡内挿部１１１は視点検出器１１
５から左右方向の視点位置を得る。パラメトリックデー
タ１９の各水平ラインのすべての対応点軌跡について、
輝点の画像中の水平方向の表示位置を算出し、その表示
位置に輝点の濃淡値を描画する。結果として、視点位置
に対応した画像が１枚生成される。
【００２６】ここで、ある水平ライン中のある輝点の水
平方向の表示位置、対応点軌跡の直線位置、直線傾き、
視点位置をそれぞれ、 x 、x0、k 、X とすると、表示位置は以下の（１）式で算出する。
【００２７】x = x0 + k・X （１）
【００２８】なお、表示スクリーン１１４および画像表
示部１１３に、レンチキュラ方式やメガネ方式などの両
眼立体視が可能な立体表示スクリーン及び立体画像表示
部を用い、かつ、視点位置入力部１１２が左右おのおの
の目の位置に対応する視点パラメータを算出し、これに
対応して対応点軌跡内挿部１１１が左右おのおのの目に
提示するための画像を生成することにより、前後左右に
視点移動可能な両眼立体表示装置となる。
【００２９】（第２実施例）次に、本発明を、前後左右
に視点移動可能な画像処理装置に適用した例を示す。本
実施例では、第１実施例の対応点軌跡内挿部１１１の内
挿処理を以下に説明する処理に置き換える。
【００３０】図３は第２実施例の画像処理装置の対応点
軌跡内挿部１１１の内挿計算の算出原理を示す図であ
る。図中、２１はある輝点、２２は輝点の移動量、２３
は撮像面、２４は焦点距離、２５は撮像面２３に投影さ
れる輝点２１の像、２６は輝点２１が移動量２２だけ移
動した時の像２５の移動後の像、２７は画素ピッチであ
る。
【００３１】次に、図３を用いて、第２実施例の対応点
軌跡内挿部１１１の処理原理を説明する。空間中のある
輝点２１を考える。像２５が、視点位置(0,0) の仮想的
なカメラの撮像面２３に投影されているとする。投影さ
れる位置は、直線位置x0に相当する。このとき、視点位
置が移動した場合の、像２５の移動を考える。視点があ
る方向へ移動することは、逆方向へ輝点２１が移動する
ことと等価である。この原理を利用して、輝点２１が移
動量２２だけ移動した場合の x を求める。
【００３２】ここで、輝点２１の左右位置、奥行き、画
素ピッチ２７、焦点距離２４をそれぞれ Xl、Zl、p 、f とすると、図２より、以下の（２）式、（３）式の２式
が成り立つ。
【００３３】Xl/Zl = (p・x0) /f （２） (Xl + X)/(Zl + Z) = (p・x)/f （３） この２式を解くことにより、以下の（４）式が導かれ
る。
【００３４】 x = (x0 + k ・X)/(1 + k ・a ・Z) （４） ここで、直線傾き k が以下の（５）式の関係にある。
【００３５】k = f/(p・Zl) （５） また、a は以下の（６）式で定義される定数である。
【００３６】a = f/p （６） （４）式を用いることにより、視点移動(-X,-Z) に対応
した、移動後の像２６を求めることができる。
【００３７】次に本実施例の対応点軌跡内挿部１１１の
動作を説明する。
【００３８】視点検出器１１５は左右前後の視点位置(
-X, -Z) を対応点軌跡内挿部１１１へ送る。対応点軌跡
内挿部１１１は、パラメトリックデータ１９の各水平ラ
インのすべての対応点軌跡について（４）式を計算する
ことにより、前後左右の視点移動に対応した画像を生成
する。
【００３９】本実施例では、入力画像に上下方向の視差
がないため、前後の視点移動に対して生成される画像に
は上下方向の歪みが生じる。被写体までの距離に応じ
て、画像の表示時に、上下方向に拡大縮小変換を行うこ
とによりこの歪みを目立たなく補正することができる。
【００４０】（第３実施例）次に、第２実施例の処理を
高速に行う例を示す。本実施例では、第２実施例の対応
点軌跡内挿部１１１の内挿処理を以下に説明する処理に
置き換える。
【００４１】図３は第３実施例の画像処理装置の対応点
軌跡内挿部１１１の高速計算処理を示すフローチャート
である。
【００４２】はじめに、本実施例の対応点軌跡内挿部１
１１の内挿処理の原理を説明する。
【００４３】（４）式は以下の（７）式に変形できる。
【００４４】 x = ((x0/k) + X)/((1/k) + (a・Z)) （７） x'、k'、Z'を以下の（８）式、（９）式、（１０）式の
ように定義すると、（７）式はさらに（１１）式に変形
される。
【００４５】x'= x0/k （８） k'= 1/k （９） Z'= a ・Z （１０） x = (x'+ X)/(k'+ Z') （１１） ここで、x'およびk'は視点位置に依存しないため、あら
かじめ計算しておくことができる。また、Z'は対応点軌
跡に依存しないため、視点位置の変化に対して1 回だけ
計算すればよい。
【００４６】次に、本実施例の対応点軌跡内挿部１１１
の内挿処理の動作を説明する。
【００４７】対応点軌跡内挿部１１１はまずステップ３
１およびステップ３２において、すべての対応点軌跡係
数について、それぞれx'およびk'を（８）式および
（９）式を用いて求める。次にステップ３３で視点位置
を視点位置入力部１１２から取得し、ステップ３４にお
いて、視点位置が変化するごとに１回だけ、（１０）式
を用いてZ'を計算する。そして、各水平ラインのすべて
の対応点軌跡係数について、ステップ３５で（１１）式
を用いて輝点の表示位置を算出し、ステップ３６で輝点
の濃淡値を描画する。
【００４８】以上の処理により、本実施例では高速に対
応軌跡内挿処理を行うことができ、よりスムーズな視点
移動が可能になるという実施例特有の効果がある。
【００４９】（第４実施例）次に、本発明を、前後上下
左右に視点移動可能な画像処理装置に適用した例を示
す。本実施例では、第３実施例の対応点軌跡検出部１８
の検出処理、オンデマンド内挿表示部１１６の内挿処理
を以下に説明する処理に置き換える。
【００５０】まず、対応点軌跡検出部１８の動作を説明
する。本実施例では、入力多視点画像保持部１１の入力
画像は、左右上下に平面上に並んだ視点から撮影された
画像である。このため、ある輝点の像の軌跡は、入力多
視点画像保持部１１の多視点画像がなす、すなわち表示
座標(x,y) と視点座標(X,Y) とで構成される４次元画像
空間中の平面となる。したがって、対応点軌跡判定部１
２の対応点軌跡判定処理は、この入力４次元画像空間中
の平面判定処理に等しい。この平面は、以下の（１２）
式で表される。
【００５１】 (x, y)= (x0 + k ・X, y0 + k ・Y) （１２） ここで、視点の位置、軌跡上の輝点の位置、軌跡の位
置、傾きがそれぞれ (X,Y) 、(x,y) 、(x0, y0)、k である。
【００５２】軌跡係数制御部１３の算出する軌跡係数は
平面の位置と傾きを示す(x0, y0, k) の３つの係数の組
みとなる。対応点軌跡判定部１２は軌跡係数制御部１３
および判定しきい値制御部１５に順次制御され、画像空
間中で平面状軌跡を判定し、検出した平面の係数を検出
軌跡記憶部１４に記憶する。データ出力部１７によって
出力されるパラメトリックデータ１９は、検出された平
面状軌跡の枚数分の、係数の組みである。
【００５３】次に本実施例のオンデマンド内挿表示部１
１６の処理について説明する。
【００５４】対応点軌跡内挿部１１１のステップ３１
は、（８）式に加えて、以下の（１３）式を計算する。
【００５５】y'= y0/k （１３） また、ステップ３５は、以下の（１４）式を用いて、輝
点の表示位置(x,y) を計算する。
【００５６】 (x, y)= (1/(k'+ Z'))・(x'+ X, y'+ Y) （１４） ステップ３６は、表示位置に合わせて輝点の濃淡値を描
画する。
【００５７】本実施例では、入力画像が上下方向の視差
を持つため、第２実施例、および第３実施例で生じたよ
うな上下方向の画像の歪みが生じない、という実施例特
有の効果がある。
【００５８】（他の実施例）以上の各実施例では、あら
かじめ撮影された多視点画像が入力多視点画像保持部１
１に保持されている構成としたが、これを、多視点画像
を実時間で取り込むことのできる多眼テレビカメラに置
き換えることにより、実時間の任意視点画像撮影・表示
システムとなる。
【００５９】さらに、パラメトリックデータ１９を通信
データとして遠隔端末間でやり取りする場合、実時間の
任意視点画像通信システムとなる。
【００６０】なお、本発明は単体の画像処理装置に適用
しても良いし、多視点テレビ、多視点テレビ電話端末や
多視点テレビ会議システムのようなシステム機器に適用
しても良いし、コンピュータや他の画像処理装置と組み
合わせた複合装置にも適用できる。
【００６１】
【発明の効果】以上説明したように本発明は、与えられ
た視点位置に応じて、観察者から見える画像を複数枚の
画像から再構成することにより、視点位置を移動させた
場合にそれに対応した画像をスムーズに出力することが
できる。装置に必要な記憶容量も、考えられうる視点移
動に対応した画像をすべて保持する場合に比べて、極め
て少なくてすむ。また、従来では対応できなかった前後
方向への視点移動が可能となるという効果がある。
【図面の簡単な説明】
【図１】第１実施例の画像処理装置の構成を示す図であ
る。
【図２】エピポーラ・プレーン画像、対応点軌跡及び軌
跡係数の説明図である。
【図３】第２実施例の画像処理装置の対応点軌跡内挿部
１１１の内挿計算の算出原理を示す図である。
【図４】第３実施例の画像処理装置の対応点軌跡内挿部
１１１の高速計算処理を示すフローチャートである。
【符号の説明】
１１ 入力多視点画像保持部 １２ 対応点軌跡判定部 １３ 軌跡係数制御部 １４ 検出軌跡記憶部 １５ 判定しきい値制御部 １６ 検出マーク配列保持部 １７ データ出力部 １８ 対応点軌跡検出部 １９ パラメトリックデータ １１０ データ入力部 １１１ 対応点軌跡内挿部 １１２ 視点位置入力部 １１３ 画像表示部 １１４ 表示スクリーン １１５ 視点検出器 １１６ オンデマンド内挿表示部
───────────────────────────────────────────────────── フロントページの続き (72)発明者 瓜阪 真也 東京都大田区下丸子３丁目30番２号キヤノ ン株式会社内

Claims (10)

    【特許請求の範囲】
  1. 【請求項１】 視点に応じた画像を生成するための画像
    データ処理装置において、 それぞれ異なる位置を視点とする複数の画像データを保
    持する多視点画像データ保持手段と；前記多視点画像デ
    ータ間において相互に対応する対応点の軌跡を規定する
    係数を順次検出する対応点軌跡検出手段と；前記多視点
    画像データに存在する複数の前記対応点軌跡のそれぞれ
    の前記係数を出力する手段とを有することを特徴とする
    画像データ処理装置。
  2. 【請求項２】 前記対応点軌跡検出手段は、前記多視点
    画像データのエピポーラ・プレーン画像上での対応点軌
    跡である直線を規定する係数を検出することを特徴とす
    る請求項１記載の画像データ処理装置。
  3. 【請求項３】 前記対応点軌跡検出手段は、前記多視点
    画像データの対応点軌跡である平面を規定する係数を検
    出することを特徴とする請求項１記載の画像データ処理
    装置。
  4. 【請求項４】 視点に応じた画像を再生する画像再生装
    置において、 多視点画像データ間において相互に対応する対応点の軌
    跡を規定する係数を入力する係数入力手段と；視点位置
    を入力する手段と；与えられた前記視点位置に対応する
    画像を前記対応点軌跡の係数に基づいて内挿生成する画
    像内挿生成手段と生成された前記画像を表示装置に出力
    する手段とを有することを特徴とする画像再生装置。
  5. 【請求項５】 前記対応点軌跡の係数は、前記多視点画
    像データのエピポーラ・プレーン画像上での対応点軌跡
    である直線を規定する係数であることを特徴とする請求
    項４記載の画像再生装置。
  6. 【請求項６】 前記対応点軌跡の係数は、前記多視点画
    像データの対応点軌跡である平面を規定する係数である
    ことを特徴とする請求項５記載の画像再生装置。
  7. 【請求項７】 前記表示装置を観察する観察者の目の位
    置を検出する視点位置検出手段を有し、該視点位置換出
    手段からの視点位置が前記視点位置入力手段に入力され
    ることを特徴とする請求項４記載の画像再生装置。
  8. 【請求項８】 画像内挿生成手段が生成した画像の歪み
    を補正する歪み補正手段をさらに備えたことを特徴とす
    る請求項４に記載の画像処理装置。
  9. 【請求項９】 前記表示装置が、ステレオディスプレイ
    であることを特徴とする請求項４記載の画像再生装置。
  10. 【請求項１０】 前記表示装置が、レンチキュラディス
    プレイであることを特徴とする請求項４記載の画像再生
    装置。
JP6247759A 1994-10-13 1994-10-13 画像データ処理装置及び画像再生装置 Withdrawn JPH08115439A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP6247759A JPH08115439A (ja) 1994-10-13 1994-10-13 画像データ処理装置及び画像再生装置
US08/540,870 US5764236A (en) 1994-10-13 1995-10-11 Image data processing apparatus and image reproduction apparatus
DE69529260T DE69529260T2 (de) 1994-10-13 1995-10-12 Gerät und Verfahren zur Bildverarbeitung
EP95307235A EP0707287B1 (en) 1994-10-13 1995-10-12 Image processing apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP6247759A JPH08115439A (ja) 1994-10-13 1994-10-13 画像データ処理装置及び画像再生装置

Publications (1)

Publication Number Publication Date
JPH08115439A true JPH08115439A (ja) 1996-05-07

Family

ID=17168245

Family Applications (1)

Application Number Title Priority Date Filing Date
JP6247759A Withdrawn JPH08115439A (ja) 1994-10-13 1994-10-13 画像データ処理装置及び画像再生装置

Country Status (4)

Country Link
US (1) US5764236A (ja)
EP (1) EP0707287B1 (ja)
JP (1) JPH08115439A (ja)
DE (1) DE69529260T2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007533022A (ja) * 2004-04-14 2007-11-15 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ２．５ｄグラフックスをレンダリングするためのゴースト・アーチファクト削減
WO2011048773A1 (en) * 2009-10-20 2011-04-28 Sony Corporation Image display apparatus, image display method, and program

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69529548T2 (de) * 1994-04-22 2003-11-27 Canon Kk Bilderzeugungsverfahren und -gerät
JP3862315B2 (ja) * 1996-03-13 2006-12-27 キヤノン株式会社 画像表示装置及びその制御方法
JP3832895B2 (ja) * 1996-05-28 2006-10-11 キヤノン株式会社 画像合成装置及び画像合成システム
US6466701B1 (en) * 1997-09-10 2002-10-15 Ricoh Company, Ltd. System and method for displaying an image indicating a positional relation between partially overlapping images
US7013340B1 (en) 2000-05-18 2006-03-14 Microsoft Corporation Postback input handling by server-side control objects
US7380250B2 (en) * 2001-03-16 2008-05-27 Microsoft Corporation Method and system for interacting with devices having different capabilities
US7493397B1 (en) 2001-06-06 2009-02-17 Microsoft Corporation Providing remote processing services over a distributed communications network
US6915454B1 (en) 2001-06-12 2005-07-05 Microsoft Corporation Web controls validation
US7428725B2 (en) 2001-11-20 2008-09-23 Microsoft Corporation Inserting devices specific content
US7574653B2 (en) 2002-10-11 2009-08-11 Microsoft Corporation Adaptive image formatting control
US7027081B2 (en) * 2003-12-21 2006-04-11 Kremen Stanley H System and apparatus for recording, transmitting, and projecting digital three-dimensional images
US7890604B2 (en) 2004-05-07 2011-02-15 Microsoft Corproation Client-side callbacks to server events
US7464386B2 (en) 2004-05-17 2008-12-09 Microsoft Corporation Data controls architecture
US8953684B2 (en) * 2007-05-16 2015-02-10 Microsoft Corporation Multiview coding with geometry-based disparity prediction
WO2009144306A1 (en) * 2008-05-30 2009-12-03 3Dvisionlab Aps A system for and a method of providing image information to a user
US8704879B1 (en) 2010-08-31 2014-04-22 Nintendo Co., Ltd. Eye tracking enabling 3D viewing on conventional 2D display
US10008027B1 (en) 2014-10-20 2018-06-26 Henry Harlyn Baker Techniques for determining a three-dimensional representation of a surface of an object from a set of images
JP6584664B2 (ja) 2016-06-08 2019-10-02 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置および画像生成方法
WO2017212679A1 (ja) 2016-06-08 2017-12-14 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置および画像生成方法
US10430994B1 (en) 2016-11-07 2019-10-01 Henry Harlyn Baker Techniques for determining a three-dimensional textured representation of a surface of an object from a set of images with varying formats

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4654872A (en) * 1983-07-25 1987-03-31 Omron Tateisi Electronics Co. System for recognizing three-dimensional objects
US4807158A (en) * 1986-09-30 1989-02-21 Daleco/Ivex Partners, Ltd. Method and apparatus for sampling images to simulate movement within a multidimensional space
US4987487A (en) * 1988-08-12 1991-01-22 Nippon Telegraph And Telephone Corporation Method of stereoscopic images display which compensates electronically for viewer head movement
CA2040273C (en) * 1990-04-13 1995-07-18 Kazu Horiuchi Image displaying system
GB9011922D0 (en) * 1990-05-29 1990-07-18 Europ Vision Syst Centre Machine vision stereo matching
US5430474A (en) * 1993-11-24 1995-07-04 Hines; Stephen P. Autostereoscopic imaging system

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007533022A (ja) * 2004-04-14 2007-11-15 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ２．５ｄグラフックスをレンダリングするためのゴースト・アーチファクト削減
JP4861309B2 (ja) * 2004-04-14 2012-01-25 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ２．５ｄグラフィックスをレンダリングするためのゴースト・アーチファクト削減
WO2011048773A1 (en) * 2009-10-20 2011-04-28 Sony Corporation Image display apparatus, image display method, and program
JP2011090400A (ja) * 2009-10-20 2011-05-06 Sony Corp 画像表示装置および方法、並びにプログラム

Also Published As

Publication number Publication date
DE69529260T2 (de) 2003-09-04
US5764236A (en) 1998-06-09
EP0707287B1 (en) 2003-01-02
EP0707287A2 (en) 1996-04-17
EP0707287A3 (en) 1996-07-03
DE69529260D1 (de) 2003-02-06

Similar Documents

Publication Publication Date Title
JPH08115439A (ja) 画像データ処理装置及び画像再生装置
US8577128B2 (en) Method and apparatus for processing three-dimensional images
JP3157384B2 (ja) 立体映像装置
EP2357838B1 (en) Method and apparatus for processing three-dimensional images
US6233004B1 (en) Image processing method and apparatus
KR20110049039A (ko) 능동 부화소 렌더링 방식 고밀도 다시점 영상 표시 시스템 및 방법
JP2005295004A (ja) 立体画像処理方法および立体画像処理装置
US10074343B2 (en) Three-dimensional image output apparatus and three-dimensional image output method
JP3032414B2 (ja) 画像処理方法および画像処理装置
JP3452244B2 (ja) ３次元表示方法及び装置
KR100392381B1 (ko) 영상에서의 사물들간의 시차량을 조절하는 주시각 제어 장치 및 그 방법과 그를 이용한 평행축 입체 카메라 시스템
JPH08126034A (ja) 立体画像表示装置および方法
JPH09200803A (ja) 画像処理装置及び画像処理方法
JPH07296195A (ja) 画像処理装置及び方法
JPH09288735A (ja) 画像処理装置
KR101192121B1 (ko) 양안시차 및 깊이 정보를 이용한 애너그리프 영상 생성 방법 및 장치
JPH07274063A (ja) 画像処理方法及びその装置

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20020115