JPH09261537A - 画像処理装置及び画像処理方法 - Google Patents

画像処理装置及び画像処理方法

Info

Publication number
JPH09261537A
JPH09261537A JP6624596A JP6624596A JPH09261537A JP H09261537 A JPH09261537 A JP H09261537A JP 6624596 A JP6624596 A JP 6624596A JP 6624596 A JP6624596 A JP 6624596A JP H09261537 A JPH09261537 A JP H09261537A
Authority
JP
Japan
Prior art keywords
image
viewpoint
viewpoint position
input
generating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP6624596A
Other languages
English (en)
Inventor
Akihiro Katayama
昭宏 片山
Shinji Uchiyama
晋二 内山
Masahiro Shibata
昌宏 柴田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP6624596A priority Critical patent/JPH09261537A/ja
Priority to EP97301798A priority patent/EP0797171B1/en
Priority to DE69734747T priority patent/DE69734747T2/de
Priority to US08/819,093 priority patent/US6445807B1/en
Publication of JPH09261537A publication Critical patent/JPH09261537A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Studio Circuits (AREA)

Abstract

(57)【要約】 【課題】 複数の視点位置で撮影された画像群から、歪
みの少ない任意の視点位置の画像を生成する画像処理装
置及び方法を提供することにある。 【解決手段】 複数の視点位置で被写体を撮影した複数
の画像を入力し、これらの複数の画像から任意の視点位
置で前記被写体を撮影した時の画像を生成する際、生成
しようとする画像の視点位置とその生成に用いる入力画
像の視点位置に応じて、入力画像のスキャンラインを決
定することによって、生成画像の歪みを抑制する画像入
力装置。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、視点の異なる複数
の画像を入力とし、観察者の現在の目の位置に応じた視
点位置における画像を生成して出力する画像処理方法お
よび画像処理装置に関する。
【0002】
【従来の技術】従来、複数の画像群からその画像を撮影
した視点位置以外の位置で見える画像を生成するには、
ステレオ距離計測等を用いて、一旦、物体の3次元形状
などを復元し、それを用いて新たな視点位置から見える
画像を生成するという手法がとられていた。
【0003】
【発明が解決しようとする課題】しかしながら、実写画
像から物体の3次元形状を求めることは一般には困難で
ある。単純な形状であれば、ステレオ距離計測等で対応
点を求めて形状を復元することも可能であるが、植木な
どの複雑な形状を持つ自然物の場合には、ほとんど不可
能に近い。従って、このような対象に対して、3次元形
状を求めて新たな視点位置の画像を生成するという手法
は使用できない。
【0004】そこで本発明の課題は、複数の視点位置で
撮影された画像群から、歪みの少ない任意視点位置の画
像を生成する画像処理方法及び画像処理装置を提供する
ことにある。
【0005】
【課題を解決するための手段】上記課題を解決するため
に、本願の請求項1に記載の発明によれば、複数の視点
位置で撮影した画像を入力する画像入力手段と、観察者
の視点位置を検出する視点検出手段と、前記画像入力手
段によって入力された入力画像から前記視点検出手段に
よって検出された視点位置における画像を生成する画像
生成手段と、前記画像生成手段によって生成された画像
を表示する画像表示手段と、生成しようとする画像の視
点位置と画像生成時に使用する入力画像の視点位置に応
じて画像生成に使用する入力画像中のスキャンラインを
決定し、観察者の視点位置における画像を生成する制御
手段とを備えた構成とする。
【0006】また本願における請求項2に記載の発明に
よれば、前記画像生成手段を、観察者の視点位置に応じ
たステレオ画像を生成し、前記画像表示手段は、生成さ
れたステレオ画像を立体表示するように構成する。
【0007】また本願の請求項3の発明によれば、複数
の視点位置において撮影した画像を入力する画像入力工
程と、観察者の視点位置を検出する視点検出工程と、入
力画像から視点検出工程によって得られた視点位置にお
ける画像を生成する画像生成工程と、画像生成工程によ
って生成された画像を表示する画像表示工程と、生成し
ようとする画像の視点位置と画像生成時に使用する入力
画像の視点位置に応じて画像生成に使用する入力画像中
のスキャンラインを決定する工程とを実行して、観察者
の視点位置の画像を生成する。
【0008】また本願における請求項4に記載の発明に
よれば、前記画像生成行程を、観察者の視点位置に応じ
たステレオ画像を生成し、前記画像表示手段は、生成さ
れたステレオ画像を立体表示する工程とする。
【0009】また本願における請求項5に記載の発明に
よれば、被写体を撮像する撮像手段と、前記撮像手段に
よって撮像された複数の撮像位置における複数の画像情
報を、前記撮像位置情報と対応させて記憶する記憶手段
と、前記記憶手段に記憶された前記複数の記憶画像とそ
の対応する撮像位置情報に基づいて、任意の視点におい
て前記被写体を観察したときの画像を生成する画像生成
手段と、前記画像生成手段は、前記任意の視点位置前記
における仮想画面上に、前記被写体と前記任意の視点位
置とを通る直線と交差する前記記憶画像上の画像情報を
複写することにより、前記仮想画面を生成する処理を行
う。
【0010】また本願における請求項6に記載の発明に
よれば、前記撮像手段は、複数の位置に配されたカメラ
を有する構成とする。
【0011】また本願における請求項7に記載の発明に
よれば、前記画像生成手段は、前記任意の視点位置にお
ける仮想画面と前記記憶画像の相対位置関係に基づい
て、前記仮想画面上の画像の歪みを補正する手段を有す
る構成とする。
【0012】また本願における請求項8に記載の発明に
よれば、前記仮想画面の画像を表示する表示手段を有
し、該表示手段の表示画面内の任意の視点位置を設定す
る視線検出手段を備えた構成とする。
【0013】また本願における請求項9に記載の発明に
よれば、前記画像生成手段は、前記複数の記憶画像の中
から、左右の目の位置に応じた画像を選択して合成する
ことにより、ステレオ画像を生成する構成とする。
【0014】
【作用】画像入力手段は、複数の視点位置で撮影した画
像を入力し、視点検出手段は、観察者の視点位置を検出
し、画像生成手段は、入力画像から観察者の視点位置の
画像を生成し、画像表示手段は画像生成手段より生成さ
れた画像を表示する。
【0015】かかる構成において、観察者の視点位置に
応じた画像を連続的に生成・表示するので、観察者のス
ムーズな視点移動に対応できる。また、生成したい画像
の視点位置と画像生成時に使用する入力画像の視点位置
に応じて、画像生成に使用する入力画像中のスキャンラ
インを決定し、観察者の視点位置の画像を生成するの
で、歪みのない画像を生成することができる。
【0016】
【発明の実施の形態】次に、本発明の実施の形態につい
て図面を参照して説明する。
【0017】(第1の実施の形態)図1は第1の実施の
形態の画像処理装置の構成を示す図であり、、本装置の
システム全体の構成を示すブロック図である。同図中、
11は左右に直線上に並んだ多数の視点から被写体を撮
影した画像を入力する画像入力装置であり、複数撮像系
を備えていても、あるいは撮像系を移動することによっ
た多視点画像を得るものでもよい。12は記憶装置13
に予め記憶されている処理手順に従って後述の各種の処
理を行うマイクロプロセッサによる中央処理装置、13
は前述の中央処理装置12を制御するプログラムやデー
タを記憶しておくROM,ハードディスク,その他の媒
体による記憶装置、14はHD(ハードディスク)、F
D(フロッピーディスク)・HD(ハードディスク)・
CD−ROM・ROM・磁気テープ・光ディスク等に記
憶されたプログラムやデータを読み取る記憶媒体読み取
り装置、15はマイクロコンピュータによる中央委処理
装置12が処理した結果あるいは処理過程における各種
情報、関連する情報を表示するモニタとしての表示装
置、16は観察者の視点位置を検出する視点位置検出装
置である。また視点位置検出装置自体は周知のもので良
い。
【0018】図2は第1の実施形態の画像処理装置の基
本的な処理の流れを示すフローチャートであり、中央処
理装置12によって実行される。
【0019】中央処理装置12は、記憶装置13に格納
された処理手順(プログラム)に従って処理を実行す
る。
【0020】図2のフローチャートにおいて、処理をス
タートすると、まずステップS1において、画像入力装
置11より直線上に並んだ多視点位置において撮像した
多視点画像群が入力されるとともに、これらの多視点画
像それぞれに対応する観察者の視点位置を視点位置検出
装置16にて検出して読み込み、ステップS2にて上記
多視点画像及びその視点位置情報をそれぞれ対応させ
て、記憶装置13に記憶する。
【0021】ステップS3以降は、記憶装置に記憶され
ている上記多視点画像データとその各画像を撮像したと
きの観察者の視点位置データを読み出して、任意の視点
から観察した画像を再構成する処理を示す。
【0022】ステップS3では、モニタとしての表示装
置の画面を観察する観察者の視点位置と視線方向を視点
位置検出装置16によって検出し、ステップS4で、そ
の視点位置情報に基づいて、その視点位置から観察した
ときの画像を前記記憶装置より読み出した多視点画像を
用いて再構成し、ステップS6で表示装置15にその任
意の視点位置から見たときの画像を表示する。
【0023】尚、ここでは、観察者の視点位置に応じた
1枚の画像再構成するようにしたが、観察者の左右の目
の位置にあった画像を生成すれば、立体的に表示するこ
とが可能である。
【0024】また複数の画像を同時に再構成すれば、レ
ンチキュラディスプレイ等で観察者が視点位置を変えて
も立体視が可能である。
【0025】尚、上記のプログラムはHD(ハードディ
スク)、FD(フロッピーディスク)、CD−ROM、
ROM、磁気テープ等の記憶媒体に記録されていて、記
憶媒体読み取り装置14から読み出されて記憶装置13
に記憶されるようにしてもよい。
【0026】次に図2のフローチャートのステップS5
の画像再構成処理について詳しく説明する。
【0027】図3は第1の実施形態における画像処理装
置の画像入力装置11より入力された多視点画像群から
画像を再構成する原理を示す図である。
【0028】同図において、31は被写体、32は複数
の入力画像の撮像位置(カメラの撮影位置)を結んだ撮
影視点位置並び直線、33は任意の観察位置P(x’,
z’)に設定された仮想カメラ、34はP(x’,
z’)に設定された仮想カメラ33の撮像素子(CC
D)の撮像面、35は仮想撮像面34上に形成された観
察位置P(x’,z’)すなわち視点位置における画像
を示している。
【0029】尚、仮想カメラ33の撮像面34は、その
観察位置Pにおいて、被写体31を観察しているときの
画面を想定しているため、理解を容易にするために、観
察位置に対して被写体側に仮想的に示しているが、実際
は、観察位置Pをカメラの中心とすると、観察位置Pに
対して被写体と反対側に撮像面が存在する。
【0030】また36は実際の撮影視点並び直線32上
の観察z位置すなわち視点位置Rの画像、37は撮影視
点並び直線32上の視点位置Qの画像である。
【0031】図3および図4のフローチャートを用い
て、図2のフローチャートのステップS5における処理
を説明する。画面の水平方向画素をi、垂直方向ライン
をjで表わすことにする。ステップ41において注目ラ
インjを画像Pの先頭ラインにセットし、注目画素をj
ライン目の左端の画素にセットする。
【0032】次に、ステップ42において、画像Pのj
ラインのi番目の画素に対応した撮影視点並び直線32
上の画像Q(記憶装置13に記憶されている)の位置を
計算する。これは次のような処理を行うことで計算でき
る。物体中の一点Aが、任意の視点位置Pの仮想カメラ
の画素位置Piに写っているとする。また、位置AとP
を結ぶ直線が撮影視点並び直線32と交差する位置をQ
とする。
【0033】このとき、図3から明らかなように、画素
位置Piに写っているものは、視点位置Qで撮影した画
像の画素位置Qiに写っているものと等価であることが
分かる。
【0034】図3の幾何的な制約条件から、視点位置Q
のX座標は(1)式で表すことができる。但し、画面の
スキャンラインの中央の画素位置を0番目の画素とす
る。また、仮想カメラ33の仮想撮像面34の画素ピッ
チをd、焦点距離をf、原点から撮影視点並び直線32
までの距離をgとする。
【0035】 x=x’+i・d・(g−z’)/f ・・・ (1)
【0036】同様に視点位置Pの仮想カメラの画素位置
Pjに写っているものは、記憶装置13に記憶された視
点位置Rの画像の画素位置Rjに写っているものと等価
である。
【0037】この手法によって、任意の視点位置におけ
る画像を、他の視点位置で撮像した画像から再構成する
ことが可能であるが、以下のような問題がある。
【0038】すなわちこの方法により、例えば画像Qの
jラインi番目の画素値を画像Pのjラインi番目画素
にコピーして画像を再構成した場合、再構成された画像
が歪む、すなわち、画像中の物体が縦に伸びたり、縮ん
だりすることがある。そこで、これを解消するためにス
テップ43において画像Pのjライン目に対応する画像
Qのライン番号を求める。この画像Qのライン番号を求
める方法に関して、図5を参照しながら説明する。
【0039】図5は第1実施例の画像処理装置のステッ
プS5の処理において再構成された画像の歪みを補正す
る原理を示す図である。図中、51は被写体、52は再
構成しようとする任意の視点位置Pにおける画像、53
は撮影視点並び直線32上の視点位置Sの画像である。
【0040】いま被写体51中の一点Bについて考え
る。点BがY軸に近いか、再構成したい視点位置Pの画
像52、撮影視点並び直線32上の視点位置Sの画像5
3のz座標値が十分に大きい、または、再構成したい視
点位置Pの画像52、撮影視点並び直線32上の視点位
置Sの画像53のz座標値がほぼ同じ値であると仮定す
る。このとき、被写体51上の点Bから発する光線は再
構成したい視点位置Pの画像52中のmライン目と撮影
視点並び直線32上の視点位置Sの画像53中のnライ
ン目に記録される。そこで、仮想撮像面34の画素ピッ
チをd、仮想カメラ33の焦点距離をf、仮想撮像面3
3のライン数をNとすれば、 Pz・tanα=Sz・tanβ ・・・ (2) tanα=d・(N/2−m)/f ・・・ (3) tanβ=d・(N・2−n)/f ・・・ (4) となる。(2)式、(3)式、(4)式より、 n=N/2+(m−N/2)・Sz/Pz ・・・ (5) が得られる。
【0041】従って、再構成したい視点位置Pの画像5
2のm番目のスキャンラインの値は、撮影視点並び直線
32上の視点位置Sの画像53の(5)式で与えられる
n番目のスキャンラインの値と等価になる。そこで、ス
テップ44において、画像Pのjラインi番目画素に、
画像Qのnラインi番目画素の値をコピーする。この処
理により、撮影視点並び直線32上でない視点位置の画
像を再構成するときに画像が歪むという現象をある程度
抑えることができる。その後、ステップS15に移り、
注目ラインj中のすべての画素の処理が終了していれば
ステップS17に移り、そうでなければステップS16
に移る。ステップS16では、注目画素iを右隣の画素
に移し、ステップS12に戻る。また、ステップS17
では、画像P中のすべてのラインに対して処理が終了し
ているならばこのサブルーチンを終了し、図2のフロー
チャートのステップS6に戻る。そうでなければ、ステ
ップS18において、注目ラインjを次のラインに移
し、注目画素iをラインjの左端にセットした後に、ス
テップS12に戻る。
【0042】このように、撮影視点並び直線32上で微
小間隔で撮影された多視点画像群が得られているとする
と、上記の考え方に基づき、全てのスキャンラインにつ
いて同様のことを繰り返せば、撮影視点並び直線32上
でない視点位置の画像を歪みを最小限にして再構成する
ことができる。
【0043】(第2の実施形態)第1実施例では、入力
多視点画像の視点位置は直線状に並ばなければならない
という制約があったが、この制約を取り除いた方法につ
いて説明する。
【0044】図6に示すような座標系にz=0の平面を
仮定し、この平面(これを基準面61と呼ぶことにす
る)を通過する光線の集合として3次元空間を表現する
手法(光線空間による3次元空間表現)が提案されてい
る。
【0045】この手法では、3次元空間内のz≧0にあ
る視点位置Pで観察できる画像は、この基準面61を通
過する光線の集合からPを通過する光線のみをサンプリ
ングして得られる画像と等価になる(図7参照)。
【0046】一般的には、各光線は基準面61を通過す
る位置(x,y)、各光線がx軸,y軸のそれぞれとな
す角度をφ,ψ、光線が平面を通過した時間t、光線の
色(r,g,b)で表されるが、実際には、計算量やデ
ータ量が膨大になるという問題から、対象は静止物体で
y軸方向の視差はないと仮定されることが多い。この仮
定のもとでu=tanφとおいて各光線をx−u平面に
射影し、この射影されたx−u空間で光線空間を扱う場
合、ある点Pを通過する光線は図8に示すように直線状
の軌跡をなす。この軌跡は以下の式で表される。
【0047】x=X−Z・u・・・ (6) u=tanφ ・・・ (7) ここで(X,Z)は観察視点位置を表し、xは光線がx
−u平面上のx軸と交差する位置を表す。また、φは光
線がz軸となす角度を表す。
【0048】まず、図9に示すように多数の視点位置で
得られた画像から直線状の軌跡を求め、この軌跡群によ
りx−u平面が密に埋められていると仮定する。この
時、z≧0にある視点位置Qの画像は、図10に示すよ
うにx−u平面上でQを通過する軌跡を求め、その軌跡
上にすでに記録されている光線の色を逆に求めることに
より得ることができる。この方法では、多視点画像をx
−u平面にマッピングして処理を行うため、入力画像の
視点位置が直線状に並ばなくても画像を再構成できると
いう利点がある。
【0049】しかしながら、この手法においても第一実
施例と同様に、スキャンライン単位に処理が行われる。
すなわち、生成したい視点位置の画像の第1ラインは、
入力多視点画像群の第1ラインを使って生成され、生成
したい視点位置の画像の第jラインは、入力多視点画像
群の第jラインを使って生成される。このように画像を
生成した場合、上下方向(y方向)の視差がないため
に、第一実施例と同様に画像が歪む。
【0050】そこで、この歪みを解消するために、前述
の軌跡上にすでに記録されている光線の色を逆に求める
際に、まず、軌跡上の一点一点が入力多視点画像中のど
の画像に対応するかを調べる。そして、その画像の撮影
地点と基準面までの距離Szと、生成したい画像の位置
と基準面までの距離Pzから、(5)式に従って対応す
るラインを計算し、そのラインを使用して画像を生成す
る。但し、Nは画像のライン数、mは注目ラインの位
置、nは対応する画像のラインの位置を表す、また、n
が存在しない値の場合、生成する画像の値は、予め決め
られた値とする。
【0051】以上のように、各ラインを処理する際に、
生成したい画像の位置と、その画像を生成するために必
要な光線を含む多視点画像の位置に応じて、必要となる
多視点画像中のライン位置を計算し、そのラインを使用
することにより、生成した画像の歪みを抑えることがで
きる。
【0052】(その他の実施形態)第1実施例では、複
数の視点位置で撮影された画像が画像入力装置11より
入力されるとしたが、これに限らず、データベースやC
D−ROM等の蓄積メディアから記憶媒体読み取り装置
14を介して記憶装置13に入力しても良い。
【0053】また、本発明は、複数の機器から構成され
るシステムに適用しても、ひとつの機器からなる装置に
適用しても良い。また、本発明はシステムあるいは装置
にプログラムを供給することによって実施される場合に
も適用されることはいうまでもない。この場合、本発明
に掛るプログラムを格納した記憶媒体が、本発明を構成
することになる。そして、該記憶媒体からそのプログラ
ムをシステムあるいは装置に読み出すことによって、そ
のシステムあるいは装置が、予め定められた方法で動作
する。
【0054】
【発明の効果】以上説明したように請求項1に記載の発
明によれば、観察者の目の位置を検出し、観察者から見
える画像を複数枚の画像から再構成することにより、観
察者の視点が移動した場合にそれに対応した画像をスム
ーズに出力することができる。また、画像生成の際に、
観察者の視点位置とその視点位置で画像を生成する際に
必要となる入力画像の視点位置から、画像生成に必要な
スキャンラインの位置を計算し、画像生成に使用するこ
とにより、歪みのない画像を生成できる。
【0055】また本願の請求項2に記載の発明によれ
ば、多視点において撮像した複数の画像情報から左右の
視点に応じた画像を用いてステレオ立体画像を再構成す
ることができ、応用範囲の広い画像処理装置を実現する
ことができる。
【0056】また本願の請求項3に記載の発明によれ
ば、多視点位置において撮像した複数の画像情報から、
任意の視点位置における視野の画像を生成し、かつ画像
生成時の歪みを低減することができ、より自然な画像を
得ることができる効果がある。
【0057】また本願の請求項4に記載の発明によれ
ば、多視点において撮像した複数の画像情報から左右の
視点に応じた画像を用いてステレオ立体画像を再構成す
ることができ、応用範囲の広い画像処理装置を実現する
ことができる。
【0058】また本願の請求項5、6に記載の発明によ
れば、多視点位置において撮像した複数の画像情報か
ら、任意の視点位置における視野の画像を容易に生成す
ることができ、その演算規模もメモリも大きくすること
なく、種々の画像処理を行うことが可能となる。
【0059】また本願の請求項7に記載の発明によれ
ば、歪みのない画像合成が可能となり、自然で品位のよ
い画像を得ることができる。
【0060】また本願の請求項8に記載の発明によれ
ば、モニタの表示画面内の任意の位置を注視するだけで
その視点における画像を簡単に生成することができる。
【0061】また本願の請求項9に記載の発明によれ
ば、多視点において撮像した複数の画像情報から左右の
視点に応じた画像を用いてステレオ立体画像を再構成す
ることができ、応用範囲の広い画像処理装置を実現する
ことができる。
【図面の簡単な説明】
【図1】第1の実施形態の画像処理装置の構成を示す図
である。
【図2】第1の実施形態の画像処理装置の処理の流れを
示すフローチャートである。
【図3】第1の実施形態の画像処理装置の画像入力装置
11より入力された画像群から画像を再構成する原理を
示す図である。
【図4】第1の実施形態の画像処理装置のステップ23
における処理の流れを示すフローチャートである。
【図5】第1の実施形態の画像処理装置のステップ23
において再構成された画像の歪みを補正する原理を示す
図である。
【図6】第2の実施形態の画像処理装置の基準面の説明
図である。
【図7】点Pを通過する光線の説明図である。
【図8】第2の実施形態の画像処理装置のx−u平面の
説明図である。
【図9】第2の実施形態の画像処理装置の被写体と撮影
視点位置の関係の説明図である。
【図10】第2の実施形態の画像処理装置の撮影視点位
置を通過する光線群の軌跡と点Qを通過する光線群の軌
跡の説明図である。
【符号の説明】
11 画像入力装置 12 中央処理装置 13 記憶装置 14 記憶媒体読み取り装置 15 表示装置 16 視点位置検出装置

Claims (9)

    【特許請求の範囲】
  1. 【請求項1】 複数の視点位置で撮影した画像を入力す
    る画像入力手段と、観察者の視点位置を検出する視点検
    出手段と、前記画像入力手段によって入力された入力画
    像から前記視点検出手段によって検出された視点位置に
    おける画像を生成する画像生成手段と、前記画像生成手
    段によって生成された画像を表示する画像表示手段と、
    生成しようとする画像の視点位置と画像生成時に使用す
    る入力画像の視点位置に応じて画像生成に使用する入力
    画像中のスキャンラインを決定し、観察者の視点位置に
    おける画像を生成する制御手段とを備えたことを特徴と
    する画像処理装置。
  2. 【請求項2】 前記画像生成手段は、観察者の視点位置
    に応じたステレオ画像を生成し、前記画像表示手段は、
    生成されたステレオ画像を立体表示するように構成され
    ていることを特徴とする請求項1に記載の画像処理装
    置。
  3. 【請求項3】 複数の視点位置において撮影した画像を
    入力する画像入力工程と、観察者の視点位置を検出する
    視点検出工程と、入力画像から視点検出工程によって得
    られた視点位置における画像を生成する画像生成工程
    と、画像生成工程によって生成された画像を表示する画
    像表示工程と、生成しようとする画像の視点位置と画像
    生成時に使用する入力画像の視点位置に応じて画像生成
    に使用する入力画像中のスキャンラインを決定する工程
    とからなる画像処理方法。
  4. 【請求項4】 前記画像生成工程は、観察者の視点位置
    に応じたステレオ画像を生成し、前記画像表示工程は、
    生成されたステレオ画像を立体表示するものであること
    を特徴とする請求項3に記載の画像処理方法。
  5. 【請求項5】 被写体を撮像する撮像手段と、 前記撮像手段によって撮像された複数の撮像位置におけ
    る複数の画像情報を、前記撮像位置情報と対応させて記
    憶する記憶手段と、 前記記憶手段に記憶された前記複数の記憶画像とその対
    応する撮像位置情報に基づいて、任意の視点において前
    記被写体を観察したときの画像を生成する画像生成手段
    と、 前記画像生成手段は、前記任意の視点位置前記における
    仮想画面上に、前記被写体と前記任意の視点位置とを通
    る直線と交差する前記記憶画像上の画像情報を複写する
    ことにより、前記仮想画面を生成する処理を行うもので
    あることを特徴とする画像処理装置。
  6. 【請求項6】 前記撮像手段は、複数の位置に配された
    カメラを有することを特徴とする請求項5に記載の画像
    処理装置。
  7. 【請求項7】 前記画像生成手段は、前記任意の視点位
    置における仮想画面と前記記憶画像の相対位置関係に基
    づいて、前記仮想画面上の画像の歪みを補正する手段を
    有することを特徴とする請求項5に記載の画像処理装
    置。
  8. 【請求項8】 前記仮想画面の画像を表示する表示手段
    を有し、該表示手段の表示画面内の任意の視点位置を設
    定する視線検出手段を備えたことを特徴とする請求項5
    に記載の画像処理装置。
  9. 【請求項9】 前記画像生成手段は、前記複数の記憶画
    像の中から、左右の目の位置に応じた画像を選択して合
    成することにより、ステレオ画像を生成することを特徴
    とする画像処理装置。
JP6624596A 1996-03-22 1996-03-22 画像処理装置及び画像処理方法 Pending JPH09261537A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP6624596A JPH09261537A (ja) 1996-03-22 1996-03-22 画像処理装置及び画像処理方法
EP97301798A EP0797171B1 (en) 1996-03-22 1997-03-18 Image processing method and apparatus
DE69734747T DE69734747T2 (de) 1996-03-22 1997-03-18 Verfahren und Gerät zur Bildverarbeitung
US08/819,093 US6445807B1 (en) 1996-03-22 1997-03-18 Image processing method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP6624596A JPH09261537A (ja) 1996-03-22 1996-03-22 画像処理装置及び画像処理方法

Publications (1)

Publication Number Publication Date
JPH09261537A true JPH09261537A (ja) 1997-10-03

Family

ID=13310302

Family Applications (1)

Application Number Title Priority Date Filing Date
JP6624596A Pending JPH09261537A (ja) 1996-03-22 1996-03-22 画像処理装置及び画像処理方法

Country Status (1)

Country Link
JP (1) JPH09261537A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7620236B2 (en) 2003-07-31 2009-11-17 Canon Kabushiki Kaisha Image processing method and apparatus
JP2014225102A (ja) * 2013-05-15 2014-12-04 日本放送協会 画像処理装置、及びプログラム
US20150097982A1 (en) * 2013-10-03 2015-04-09 Olympus Corporation Photographing apparatus, photographing method and medium recording photographing control program

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7620236B2 (en) 2003-07-31 2009-11-17 Canon Kabushiki Kaisha Image processing method and apparatus
JP2014225102A (ja) * 2013-05-15 2014-12-04 日本放送協会 画像処理装置、及びプログラム
US20150097982A1 (en) * 2013-10-03 2015-04-09 Olympus Corporation Photographing apparatus, photographing method and medium recording photographing control program
US9066010B2 (en) * 2013-10-03 2015-06-23 Olympus Corporation Photographing apparatus, photographing method and medium recording photographing control program

Similar Documents

Publication Publication Date Title
JP5036132B2 (ja) 裸眼立体表示のための視差画像のクリティカルな位置合わせ
KR101956149B1 (ko) 이미지 사이의 광학 흐름의 효율적 결정
EP0797171B1 (en) Image processing method and apparatus
JP3728160B2 (ja) 奥行き画像計測装置及び方法、並びに複合現実感提示システム
JP3593466B2 (ja) 仮想視点画像生成方法およびその装置
US6570566B1 (en) Image processing apparatus, image processing method, and program providing medium
US5586231A (en) Method and device for processing an image in order to construct from a source image a target image with charge of perspective
US6628820B2 (en) Image forming method and apparatus
JP4065488B2 (ja) 3次元画像生成装置、3次元画像生成方法及び記憶媒体
US6608622B1 (en) Multi-viewpoint image processing method and apparatus
US9460555B2 (en) System and method for three-dimensional visualization of geographical data
EP0680019A2 (en) Image processing method and apparatus
JP3524147B2 (ja) 3次元画像表示装置
AU2003233160A1 (en) Method for producing stereoscopic images from monoscopic images
JP4406824B2 (ja) 画像表示装置、画素データ取得方法、およびその方法を実行させるためのプログラム
JP3032414B2 (ja) 画像処理方法および画像処理装置
JP2849313B2 (ja) 画像記録再生装置
CN107483915B (zh) 三维图像的控制方法及装置
JP2001256482A (ja) 視差画像生成装置および視差画像生成方法
JPH1097642A (ja) 画像処理方法及び装置及び記憶媒体
JP2019149777A (ja) 画像処理装置および画像処理プログラム
JPH08147497A (ja) 画像処理方法及びその装置
JPH05266215A (ja) 画像表示装置
JPH09261537A (ja) 画像処理装置及び画像処理方法
JPH0749944A (ja) 画像処理方法およびその装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040727

A521 Written amendment

Effective date: 20040927

Free format text: JAPANESE INTERMEDIATE CODE: A523

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20041026

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20041227

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050216

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Effective date: 20050221

Free format text: JAPANESE INTERMEDIATE CODE: A911

A912 Removal of reconsideration by examiner before appeal (zenchi)

Effective date: 20050408

Free format text: JAPANESE INTERMEDIATE CODE: A912