JPH09114979A - カメラシステム - Google Patents

カメラシステム

Info

Publication number
JPH09114979A
JPH09114979A JP7269598A JP26959895A JPH09114979A JP H09114979 A JPH09114979 A JP H09114979A JP 7269598 A JP7269598 A JP 7269598A JP 26959895 A JP26959895 A JP 26959895A JP H09114979 A JPH09114979 A JP H09114979A
Authority
JP
Japan
Prior art keywords
image
virtual
picked
image pickup
virtual camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP7269598A
Other languages
English (en)
Other versions
JP3328478B2 (ja
Inventor
Takahiro Muraki
隆浩 村木
Kazuo Kimura
一夫 木村
Kazutake Kamihira
員丈 上平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP26959895A priority Critical patent/JP3328478B2/ja
Publication of JPH09114979A publication Critical patent/JPH09114979A/ja
Application granted granted Critical
Publication of JP3328478B2 publication Critical patent/JP3328478B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

(57)【要約】 【課題】 複数の撮像装置を用いて、各装置よりも被写
体側に近い、あるいは被写体とは反対の遠い位置に視点
移動した任意の位置において撮像装置を設置した場合に
撮像したものと等価な仮想撮像画像を生成する。 【解決手段】 2台の撮像装置11,12により撮像さ
れた2枚の画像を用いて、この2つの異なる視点の撮像
画像から、その画像中の被写体の3次元位置座標を位置
座標検出装置21,22で検出する。その座標と視点位
置入力装置30より入力した視点位置から、任意視点か
ら見た仮想撮像画像を仮想撮像画像演算装置40で再構
成する。また、背景画像生成手段を設け、遠く離れた位
置に視点移動した場合の背景画像を、小さく生成される
仮想撮像画像に合成して、広範囲な仮想カメラの撮像画
像を得る。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、複数の異なる位置
から撮像された画像データをもとに、任意の仮想的な視
点から見た画像を生成するカメラ技術に関するものであ
る。
【0002】
【従来の技術】従来の撮像装置では、単に外界の光を、
レンズ等によりCCDセンサ等の撮像素子に結像し撮像
していた。しかし、このような撮像装置では、当然のこ
とながら撮像装置を固定すると、固定された視点の画像
しか物理的に撮像できず、他の任意視点からの画像を得
ることが不可能であった。
【0003】上記問題を解決するため、各々視点の異な
った複数台の撮像装置を用い、各撮像装置の物理的な視
点の移動操作なしに、任意視点の画像を生成する方法が
検討されている。
【0004】例えば、2つの撮像装置により撮像された
2つの画像から、これら2つの撮像装置以外の任意の視
点の画像を生成する方法については、参考文献「ホログ
ラフィックステレオグラムのためのマルチカメラ画像入
力での中間像合成」(高橋進、本田捷夫、山口雅浩、大
山永昭、岩田藤郎、テレビジョン学会技術報告、Vo
l.17,No.82,pp.19−23,1993)
に記載されている。ここで記載されている手法は、被写
体をさまざまな方向から撮像した少数の視差画像から被
写体の3次元形状を求め、新たな視差画像を再構成する
手法である。
【0005】しかし、この手法では、撮像時にはカメラ
を前進、回転させることなく左右に移動し、画像平面を
常に移動方向に対して平行に保たなければならないとい
う制約がある。
【0006】また上記以外にも、2つ以上の複数の撮像
装置を直線上に並べて撮像した複数の画像から、この直
線上でかつ撮像装置間の任意の位置にカメラを設置して
撮像したものと等価な画像を生成する方法について、参
考文献“Construction of Inter
mediate Pictures for a Mu
ltiview 3D System”(Jin Li
u and Robert Skerjanc,SPI
E Vol.1669 Stereoscopic D
isplays and Applications
III,1992,pp.10−19,“A Thre
e Cameras Approachfor Cal
culating Disparity and Sy
nthesizing Intermediate P
ictures”,R.Skerjanc and
J.Liu,Signal Processing:I
mage Comm.4,1991,pp.55−6
4)に記載されている。この例では、多眼で撮像した3
次元画像の情報圧縮を主な目的として、異なる視点の2
枚の画像からその中間視点の画像を生成する手法につい
て検討している。
【0007】しかし、この手法では、被写体に対して、
撮像装置を含む垂直平面内の位置のみにカメラの設定可
能で、被写体に近付いたり離れたりした位置での撮像が
不可能である。
【0008】
【発明が解決しようとする課題】上記の通り、従来の仮
想的な視点での画像得る手段(以下、仮想カメラと記
す)は、仮想的に生成できる視点の位置の自由度が制限
されていた。すなわち従来の仮想カメラでは、複数の撮
像装置が設定されている位置よりも、被写体側に近付い
た位置、あるいは被写体と反対の遠い位置に視点を移動
したときの画像を生成できず、単に被写体に対する視点
の角度のみが変化できるだけであった。
【0009】本発明は、複数の撮像装置を用いて、各装
置よりも被写体側に、あるいは被写体とは反対の遠い位
置に視点移動した任意の位置において撮像装置を設置し
た場合に撮像した画像と等価な仮想撮像画像を生成する
カメラシステムを提供することを目的とする。
【0010】
【課題を解決するための手段】前記目的を達成するため
本発明は、被写体を異なる位置から撮像する2つ以上の
撮像手段と、前記2つ以上の撮像手段から得られた2つ
以上の撮像画像中の前記被写体の三次元位置を検出する
手段と、前記検出した三次元位置に基づいて三次元空間
的に任意視点から見た仮想撮像画像を生成する仮想撮像
画像演算手段と、を、少なくとも具備することを特徴と
する。また、上記の撮像手段と仮想撮像画像演算手段に
加えて、背景画像を生成し、前記仮想撮像画像演算手段
で生成した仮想撮像画像と合成する背景画像生成・合成
手段を、少なくとも具備することを特徴とする。
【0011】本発明では、複数の撮像系により撮像され
た複数の画像を用いて、複数の異なる視点の画像から、
その画像中の被写体の3次元位置座標を得て、その座標
から、任意視点から見た画像を再構成することにより、
各撮像装置よりも被写体側に、あるいは被写体とは反対
に遠く離れた位置に視点移動した任意の位置における撮
像画像と等価な仮想撮像画像を生成可能とする。また、
背景画像生成・合成手段を設けることにより、遠く離れ
た位置に視点移動した場合に小さく生成される画像に背
景画像を補って、広範囲な仮想撮像画像が得られるよう
にする。
【0012】
【発明の実施の形態】以下、図を用いて、本発明の実施
の形態を詳しく説明する。
【0013】[実施の形態例1]本発明の第1の実施の
形態例を図1を用いて説明する。図1は、本実施の形態
例の仮想カメラシステムの概略構成を示すブロック図で
ある。図1に示すように、この仮想カメラシステムは、
撮像装置11,12と、位置座標検出装置21,22
と、視点位置入力装置30と、仮想撮像画像演算装置4
0と、画像出力装置50から構成されている。
【0014】図2は本実施の形態例の撮像装置、仮想カ
メラ、被写体位置の説明図である。また、図3は本実施
の形態例1の撮像装置の結像面画像の生成方法の説明図
である。図2に示すように、撮像装置61,62、仮想
カメラ63、および被写体64,65を配置すると、撮
像装置61,62の撮像素子に対応する等価結像面の画
像66および67が図3に示すように得られる。これら
2つの画像から、上記装置で構成される仮想カメラシス
テムにより、仮想カメラ63の撮像素子に対応する等価
結像面に画像68を得る。
【0015】以下に、仮想カメラの画像を生成する手法
を図4を用いて説明する。図4は第1の実施の形態例の
仮想カメラの撮像素子に結像する被写体の三次元座標を
求めるための説明図である。
【0016】図1における撮像装置11,12は、図4
に示すように撮像装置間距離が例えばdであるように平
行に位置し、図2における被写体64,65を撮像す
る。撮像装置11、12のレンズを通った被写体像は、
CCD等の撮像素子上に結像し画像データとして電気信
号に変換される。位置座標検出装置21,22は、撮像
装置11,12において撮像された複数の撮像画像から
被写体位置座標を次のように検出する。
【0017】位置座標検出装置21,22について、図
4を用いて説明する。図4において、71は第1の撮像
装置11,61の撮像素子に対応する等価結像面、72
は第2の撮像装置12、62の撮像素子に対応する等価
結像面、73は仮想カメラ63の撮像素子に対応する等
価結像面である。点P0(x0,y0,z0)は被写体の任
意の位置、点O1(−d/2,0,0)および点O2(d
/2,0,0)はそれぞれ撮像面71、撮像面72の中
央位置、点P1(xc1,yc1,zc1)および点P
2(xc2,yc2,zc2)は各々の撮像面71,72の中
央位置を原点とす被写体の結像座標位置、点P3(x3
3,z3)は求める任意の仮想カメラの撮像面73の中
央位置を原点とする被写体の結像座標位置である。ここ
で、fは撮像装置11,12の焦点距離を示している。
【0018】位置座標検出装置21は、結像面71の画
像を水平・垂直方向にスキャンし、各画素に対応する点
1(xc1,yc1,zc1)と被写体に対応する点P0(x
0,y0,z0)とがマッチングする演算式を得る。同様
に、位置座標検出装置22は、結像面72の画素を水平
・垂直方向にスキャンし、各画素に対応する点P2(xc
2,yc2,zc2)と被写体に対応する点P0(x0,y0
0)とがマッチングする演算式を得る。
【0019】本実施の形態例では、次式で与えられる関
係式により被写体の点P0(x0,y0,z0)の位置を決
定し、点Pが仮想カメラの結像面である撮像素子上に結
像される点P3(x3,y3,z3)を得る。
【0020】図2から点P1について
【0021】
【数1】
【0022】となる同次座標系(xc1h,yc1h
c1h,wc1h)を用いると、図4に示した点P0からカ
メラC1への透視変換は次式のように表わせる。
【0023】
【数2】
【0024】ここで、
【0025】
【数3】
【0026】は透視変換マトリクス、
【0027】
【数4】
【0028】は、カメラの位置、姿勢を表わす座標マト
リクスである。
【0029】この式から、焦点距離fのカメラC1上の
点P1(xc1,yc1,zc1)は、
【0030】
【数5】
【0031】同様に点P2についても、
【0032】
【数6】
【0033】となる。
【0034】また、逆に、2台の独立したカメラの座標
(xc1,yc1,0)と(xc2,yc2,0)から点(x
,y0,z0)が、以下のように求められる。
【0035】
【数7】
【0036】視点位置入力装置30は、3次元空間位置
における任意視点からの映像を得るための視線位置情報
を入力する。ここで視線位置情報とは、仮想カメラの位
置と、その視線方向の情報を指す。
【0037】仮想撮像画像演算装置40は、視点位置入
力装置30において入力された視点位置情報に基づき、
前記撮像装置11,12において入力された2つの画像
より任意視点から撮像したものと等価な画像を生成す
る。その生成方法は、例えば次のとおりである。
【0038】P3(x3,y3,z3)は以下のようにして
求められる。
【0039】
【数8】
【0040】さらに、ある位置の仮想カメラC3を想定
した場合では、上記演算で得られた(x0,y0,z0
の値から、以下のようにして仮想カメラの座標(xc3
c3,zc3)を求めることができる。
【0041】
【数9】
【0042】上式において、
【0043】
【数10】
【0044】は、カメラの視線、回転、平行移動などの
カメラの姿勢を表わすパラメータであり、各値は、視線
位置入力装置30で外部より入力する。
【0045】また、f′は任意視点における仮想カメラ
のレンズの焦点距離である。
【0046】ここで、
【0047】
【数11】
【0048】と表わせる。
【0049】仮想カメラ座標系での結像面はzc3h=0
なので、カメラパラメータと呼ばれる3×4のC行列
【0050】
【数12】
【0051】を用いると、次の様に簡略化できる。
【0052】
【数13】
【0053】カメラパラメータには、位置、姿勢、面角
などカメラに関するデータがすべて含まれている。
【0054】以上により、仮想カメラの結像位置におけ
る撮像素子上で位置する点P3(x3,y3,z3)を求め
ることができる。上記点P3を各撮像装置によって得ら
れた画像の各画素すべてについて演算し、仮想カメラの
結像位置における撮像素子上に、仮想位置における撮像
画像を得る。
【0055】画像出力装置50は、仮想撮像画像演算装
置40において合成された画像データを出力する。
【0056】上記の演算によれば、任意視点から見た画
像を、前記仮想撮像演算手段で演算することにより再構
成できるので、例えば、各撮像装置よりも被写体側に近
付いた位置に視点移動したような任意の位置における等
価な画像を生成することができる。
【0057】[実施の形態例2]以上では、本発明の1
つの実施の形態例を述べたが、本発明の主旨を脱するこ
となく種々の変更が可能なことは言うまでもない。たと
えば、上記実施の形態例では撮像装置を2台に限定した
が、2台を越える複数台の撮像装置を設置し、複数台の
撮像装置間、あるいは複数台の撮像装置の被写体側に近
付いた位置に任意視点を設定すれば、より広範囲で仮想
カメラが実現できる。このような本発明の第2の実施の
形態例を、図5を用いて説明する。
【0058】図5は本実施の形態例の複数の撮像素子を
用いた場合の撮像装置、仮想カメラ、被写体位置の説明
図である。この仮想カメラシステムは、複数の撮像装置
80−1,80−2,…,80−nと、被写体81,8
2と、仮想カメラ83とから構成される。
【0059】このように多数の撮像装置を設置すると、
仮想カメラ83が任意の位置に設定されても、その仮想
カメラを挟む2台の撮像装置が必ず存在する。例えば図
5では仮想カメラ83は撮像装置80−2と80−3に
挟まれている。したがって撮像装置80−2および80
−3を図2における2台の撮像装置と見なせば、この2
台の撮像装置によって撮像された画像から、実施の形態
例1で述べた方法により仮想カメラ83で撮像した画像
を生成することができる。
【0060】図6は本実施の形態例の撮像装置および仮
想カメラの結像面画像の生成法の説明図である。この図
に示すように、撮像装置80−2,80−3の撮像素子
に対応する等価結像面の画像90−2,90−3から、
仮想カメラ83の等価結像面の画像91を得る。
【0061】上記のように、図5に示したように複数の
撮像装置80−1,…,80−nを設定すれば、より広
範囲に渡り任意の視点に仮想カメラを設定し画像を生成
することができる。
【0062】以上本発明の第2の実施の形態例によれ
ば、仮想カメラを設置する任意視点位置をより広範囲に
自由に設定し、仮想カメラによる撮像画像を得ることが
できる。
【0063】[実施の形態例3]以上、2つの実施の形
態例では、撮像装置よりも被写体に近づいた任意視点の
仮想撮像画像を得るカメラシステムについて述べたが、
次に述べる変更を加えることにより、新たに、被写体か
ら撮像装置よりも遠い位置に任意視点を設定した場合の
仮想カメラシステムを実現することができる。このよう
な本発明の第3の実施の形態例を、図7を用いて説明す
る。
【0064】図7は、本実施の形態例の仮想カメラシス
テムの概略構成を示すブロック図である。図7に示すよ
うに、この仮想カメラシステムは、図1に示した構成で
ある、撮像装置11,12と、位置座標検出装置21,
22と、視点位置入力装置30、仮想撮像画像演算装置
40と、画像出力装置50に加えて、仮想撮像画像演算
装置40の後段で画像出力装置50の前段に背景画像生
成・合成装置41を含めて構成されている。
【0065】また図8は、本実施の形態例の撮像装置、
仮想カメラ、被写体位置の説明図である。この仮想カメ
ラシステムは、撮像装置101,102と、仮想カメラ
103と、被写体104,105とから構成される。
【0066】また図9は、本実施の形態例の撮像装置お
よび仮想カメラの結像面画像の生成法の説明図である。
図9において、106は撮像装置101の撮像素子に対
応する等価結像面画像、107は撮像装置102の撮像
素子に対応する等価結像面画像、108は仮想カメラ1
03の撮像素子に対応する等価結像面画像を示す。
【0067】図8に示すように、仮想カメラ103が撮
像装置101,102よりも被写体と反対側の後方の任
意の位置に設定された場合、図9に示すように仮想カメ
ラの結像面における画像108は小さくなり、被写体の
周辺を含む斜線で示した背景が撮像範囲として必要にな
る。画像中、注目している被写体104,105に対
し、背景模様が一様な場合など、背景画像の範囲を容易
に拡張できる。そこで図7における背景画像生成・合成
装置41において、撮像装置101,102で撮像され
た画像の背景部分から背景画像を生成し、仮想撮像画像
演算装置40において生成された被写体画像と合成して
出力する。
【0068】以上本発明の第3の実施の形態例によれ
ば、上記の図7に示したように新たに背景画像生成・合
成装置41を設置して、被写体よりも遠い位置に任意視
点を設定すれば、より広範囲に渡って撮像が可能な仮想
カメラを実現することができる。
【0069】[実施の形態例4]以上、3つの実施の形
態例を述べたが、これら3つの実施の形態例を組み合わ
せることにより、次の述べる撮像が可能となる。
【0070】すなわち、第2の実施の形態例で述べた複
数の撮像装置を用いるカメラシステムにおいて、第3の
実施の形態例で述べた背景画像生成・合成装置を設置す
ることにより、被写体よりも遠く離れた、撮像装置より
も後方の広い範囲に渡る任意視点に仮想カメラを設置し
ても、仮想カメラの画像を生成することが可能である。
【0071】以上本発明の第4の実施の形態例によれ
ば、上述したように新たに複数の撮像装置を用い、背景
画像生成・合成装置を設置すれば、被写体よりも遠い位
置に任意視点を設定して、より広範囲に渡って撮像が可
能な仮想カメラを実現することができる。
【0072】[実施の形態例5]以上、本発明の4つの
実施の形態例を述べたが、次の変更を加えることも可能
である。たとえば、上記第2の実施の形態例では撮像装
置を複数台として撮像範囲を広くしたが、設定するカメ
ラを挟む異なる複数の撮像装置の映像を用いてカメラの
映像を複数生成し、これらを画像合成することにより、
より精度の高いカメラ画像を得ることができる。
【0073】このような本発明の第5の実施の形態例
を、図10を用いて説明する。図10は、本実施の形態
例の複数の撮像素子を用いた場合の撮像装置、仮想カメ
ラ、被写体位置の説明図である。
【0074】この仮想カメラシステムは、複数の撮像装
置110−1,110−2,…,110−nと、被写体
111,112と、仮想カメラ113とから構成され
る。
【0075】仮想カメラ113が任意の位置に設定され
ても、その仮想カメラを挟む2台の撮像装置が必ず存在
する。例えば図10では、仮想カメラ113は撮像装置
110−1,110−2,110−3、そして110−
4などに挟まれている。したがって例えば撮像装置11
0−1および110−3を図2における2台の撮像装置
と見なせば、この2第の撮像装置によって撮像された画
像から、第1の実施の形態例で述べた方法により仮想カ
メラ113で撮像した画像を生成することができる。
【0076】図11は、本実施の形態例の撮像装置およ
び仮想カメラの結像面画像の生成法の説明図である。こ
の図に示すように、撮像装置110−1,110−2,
110−3、そして110−4の撮像素子に対応する等
価結像面の画像120−1,120−2,120−3お
よび120−4から、画像120−1と120−3を用
いて画像130−1の、画像120−2と120−3を
用いて画像130−2の、画像120−2と120−4
を用いて画像130−3の、仮想カメラ113での3つ
のカメラ画像を得る。これらの画像130−1,130
−2及び130−3を合成することにより、最終的な仮
想カメラ113の等価結像面の画像131を得る。3つ
の画像の合成手法としては、例えば、単純に同一画素の
輝度の平均を取る手法、あるいは、各画像中で被写体の
輪郭を抽出して中心を固定した上で、対応画素の輝度の
平均をとる手法など、種々の手法を用いることができ
る。
【0077】上記のように、図10に示したように複数
の撮像装置110−1,…,110−nを設置すれば、
より広範囲に渡り任意の視点に仮想カメラを設定し精度
の高い画像を生成することができる。ここでは、仮想カ
メラを撮像装置よりも被写体に近い位置に設定した場合
について述べているが、第3の実施の形態例にも同様に
適用して、仮想カメラを撮像装置よりも被写体から遠い
位置に設定した場合に、精度の高い仮想撮像画像を得る
ことができることは、言うまでもない。
【0078】以上本発明の第5の実施の形態例によれ
ば、仮想カメラを設置する任意視点位置をより広範囲に
自由に設定し、仮想カメラによる精度の高い撮像画像を
得ることができる。
【0079】
【発明の効果】以上説明したように、本発明は、複数の
撮像系により撮像された複数の画像を用いて、各装置よ
りも被写体側に、あるいは被写体とは反対に遠く離れた
位置に視点移動した任意の位置において撮像装置を設置
した場合に撮像したものと等価な仮想の3次元空間画像
を生成することが可能である。この新しい機能により、
従来には存在し得なかった新しい映像サービスを提供で
きる効果が得られる。
【0080】なお、3つ以上の撮像手段からの撮像画像
を用いて任意視点から見た2つ以上の仮想撮像画像を生
成し、前記2つ以上の仮想撮像画像を合成して最終的に
前記任意視点から見た仮想撮像画像を得るようにした場
合には、特に、精度の高い仮想撮像画像を得ることがで
きる。
【図面の簡単な説明】
【図1】本発明の第1の実施の形態例のカメラシステム
の概略構成を示すブロック図である。
【図2】上記第1の実施の形態例における撮像装置、仮
想カメラ、被写体位置の説明図である。
【図3】上記第1の実施の形態例における撮像装置の結
像面画像の生成法の説明図である。
【図4】上記第1の実施の形態例における仮想カメラの
撮像素子に結像する被写体の三次元座標を求めるための
説明図である。
【図5】本発明の第2の実施の形態例を示す複数の撮像
素子を用いた場合の仮想カメラの説明図である。
【図6】上記第2の実施の形態例における撮像装置およ
び仮想カメラの結像面画像の生成法の説明図である。
【図7】本発明の第3の実施の形態例のカメラシステム
の概略構成を示すブロック図である。
【図8】上記第3の実施の形態例における撮像装置、仮
想カメラ、被写体位置の説明図である。
【図9】上記第3の実施の形態例における撮像装置およ
び仮想カメラの結像面画像の生成法の説明図である。
【図10】本発明の第5の実施の形態例における複数の
撮像素子を用いた場合の撮像装置、仮想カメラ、被写体
位置の説明図である。
【図11】上記第5の実施の形態例の撮像装置および仮
想カメラの結像面画像の生成法の説明図である。
【符号の説明】
11,12…撮像装置 21,22…位置座標検出装置 30…視点位置入力装置 40…仮想撮像画像演算装置 41…背景画像生成・合成装置 50…画像出力装置 61,62…撮像装置 63…仮想カメラ 64,65…被写体 66…第1の撮像装置の撮像素子に対応する等価結像面
画像 67…第2の撮像装置の撮像素子に対応する等価結像面
画像 68…仮想カメラの撮像素子に対応する仮想結像面画像 71…第1の撮像装置の撮像素子に対応する等価結像面 72…第2の撮像装置の撮像素子に対応する等価結像面 73…仮想カメラの撮像素子に対応する仮想結像面 80−1〜n…撮像装置 81,82…被写体 83…仮想カメラ 90−1〜n…撮像装置80−1〜nの撮像素子に対応
する等価結像面画像 91…仮想カメラ83の撮像素子に対応する等価結像面
画像 101,102…撮像装置 103…仮想カメラ 104,105…被写体 106…第1の撮像装置の撮像素子に対応する等価結像
面画像 107…第2の撮像装置の撮像素子に対応する等価結像
面画像 108…仮想カメラの撮像素子に対応する仮想結像面画
像 110−1〜n…撮像装置 111,112…被写体 113…仮想カメラ 120−1〜n…撮像装置110−1〜nの撮像素子に
対応する等価結像面画像 130−1〜n…仮想カメラ113の撮像素子に対応す
る等価結像面画像 131…最終的な仮想カメラ113の撮像素子に対応す
る等価結像面画像

Claims (3)

    【特許請求の範囲】
  1. 【請求項1】 被写体を異なる位置から撮像する2つ以
    上の撮像手段と、 前記2つ以上の撮像手段から得られた2つ以上の撮像画
    像中の前記被写体の三次元位置を検出する手段と、 前記検出した三次元位置に基づいて三次元空間的に任意
    視点から見た仮想撮像画像を生成する仮想撮像画像演算
    手段と、 を具備することを特徴とするカメラシステム。
  2. 【請求項2】 撮像手段と仮想撮像画像演算手段に加え
    て、 背景画像を生成し、前記仮想撮像画像演算手段で生成し
    た仮想撮像画像と合成する背景画像生成・合成手段を具
    備することを特徴とする請求項1記載のカメラシステ
    ム。
  3. 【請求項3】 仮想撮像画像演算手段は、3つ以上の撮
    像手段からの撮像画像を用いて任意視点から見た2つ以
    上の仮想撮像画像を生成し、前記2つ以上の仮想撮像画
    像を合成して最終的に前記任意視点から見た仮想撮像画
    像とすることを特徴とする請求項1または請求項2記載
    のカメラシステム。
JP26959895A 1995-10-18 1995-10-18 カメラシステム Expired - Fee Related JP3328478B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP26959895A JP3328478B2 (ja) 1995-10-18 1995-10-18 カメラシステム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP26959895A JP3328478B2 (ja) 1995-10-18 1995-10-18 カメラシステム

Publications (2)

Publication Number Publication Date
JPH09114979A true JPH09114979A (ja) 1997-05-02
JP3328478B2 JP3328478B2 (ja) 2002-09-24

Family

ID=17474600

Family Applications (1)

Application Number Title Priority Date Filing Date
JP26959895A Expired - Fee Related JP3328478B2 (ja) 1995-10-18 1995-10-18 カメラシステム

Country Status (1)

Country Link
JP (1) JP3328478B2 (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11355804A (ja) * 1998-06-04 1999-12-24 Nec Corp ネットワーク会議画像処理装置
WO2000007373A1 (fr) * 1998-07-31 2000-02-10 Matsushita Electric Industrial Co., Ltd. Procede et appareil d'affichage d'images
JP2000078613A (ja) * 1998-08-31 2000-03-14 Sony Corp 画像処理装置及び画像処理方法
WO2000064175A1 (fr) * 1999-04-16 2000-10-26 Matsushita Electric Industrial Co., Ltd. Dispositif de traitement d'images et systeme de surveillance
JP2002114098A (ja) * 2000-06-30 2002-04-16 Matsushita Electric Ind Co Ltd 描画装置
JP2005149127A (ja) * 2003-11-14 2005-06-09 Sony Corp 撮像表示装置及び方法、画像送受信システム
US7277123B1 (en) 1998-10-08 2007-10-02 Matsushita Electric Industrial Co., Ltd. Driving-operation assist and recording medium
WO2009051028A1 (ja) 2007-10-19 2009-04-23 Kabushiki Kaisha Toyota Jidoshokki 映像表示装置及び映像表示方法
JP2010503078A (ja) * 2006-08-30 2010-01-28 ピクトメトリー インターナショナル コーポレーション モザイク斜め画像、並びにモザイク斜め画像の作成及び使用方法
US8267024B2 (en) 2008-01-24 2012-09-18 Brother Kogyo Kabushiki Kaisha Sewing machine and computer-readable medium storing control program executable on sewing machine
JP2016213574A (ja) * 2015-04-30 2016-12-15 キヤノン株式会社 画像処理装置及び画像処理装置の制御方法

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11355804A (ja) * 1998-06-04 1999-12-24 Nec Corp ネットワーク会議画像処理装置
US7307655B1 (en) 1998-07-31 2007-12-11 Matsushita Electric Industrial Co., Ltd. Method and apparatus for displaying a synthesized image viewed from a virtual point of view
WO2000007373A1 (fr) * 1998-07-31 2000-02-10 Matsushita Electric Industrial Co., Ltd. Procede et appareil d'affichage d'images
JP2000078613A (ja) * 1998-08-31 2000-03-14 Sony Corp 画像処理装置及び画像処理方法
US8077202B2 (en) 1998-10-08 2011-12-13 Panasonic Corporation Driving-operation assist and recording medium
US7277123B1 (en) 1998-10-08 2007-10-02 Matsushita Electric Industrial Co., Ltd. Driving-operation assist and recording medium
US8111287B2 (en) 1998-10-08 2012-02-07 Panasonic Corporation Driving-operation assist and recording medium
US9272731B2 (en) 1998-10-08 2016-03-01 Panasonic Intellectual Property Corporation Of America Driving-operation assist and recording medium
US7161616B1 (en) 1999-04-16 2007-01-09 Matsushita Electric Industrial Co., Ltd. Image processing device and monitoring system
WO2000064175A1 (fr) * 1999-04-16 2000-10-26 Matsushita Electric Industrial Co., Ltd. Dispositif de traitement d'images et systeme de surveillance
JP2002114098A (ja) * 2000-06-30 2002-04-16 Matsushita Electric Ind Co Ltd 描画装置
JP2005149127A (ja) * 2003-11-14 2005-06-09 Sony Corp 撮像表示装置及び方法、画像送受信システム
JP4595313B2 (ja) * 2003-11-14 2010-12-08 ソニー株式会社 撮像表示装置及び方法、画像送受信システム
JP2010503078A (ja) * 2006-08-30 2010-01-28 ピクトメトリー インターナショナル コーポレーション モザイク斜め画像、並びにモザイク斜め画像の作成及び使用方法
WO2009051028A1 (ja) 2007-10-19 2009-04-23 Kabushiki Kaisha Toyota Jidoshokki 映像表示装置及び映像表示方法
US8267024B2 (en) 2008-01-24 2012-09-18 Brother Kogyo Kabushiki Kaisha Sewing machine and computer-readable medium storing control program executable on sewing machine
JP2016213574A (ja) * 2015-04-30 2016-12-15 キヤノン株式会社 画像処理装置及び画像処理装置の制御方法

Also Published As

Publication number Publication date
JP3328478B2 (ja) 2002-09-24

Similar Documents

Publication Publication Date Title
JP3593466B2 (ja) 仮想視点画像生成方法およびその装置
US20060018509A1 (en) Image generation device
WO2003036565A2 (en) System and method for obtaining video of multiple moving fixation points within a dynamic scene
JP4928476B2 (ja) 立体像生成装置、その方法およびそのプログラム
JP6406853B2 (ja) 光フィールド映像を生成する方法及び装置
EP1494476A1 (en) Image processing method and apparatus
WO2012060564A1 (en) 3d camera
TWI788739B (zh) 3d顯示設備、3d圖像顯示方法
JP3328478B2 (ja) カメラシステム
WO2021104308A1 (zh) 全景深度测量方法、四目鱼眼相机及双目鱼眼相机
JP3561446B2 (ja) 画像生成方法及びその装置
JP3032414B2 (ja) 画像処理方法および画像処理装置
JP2015508584A (ja) 非同期センサに依存するシーンの3d再構成の方法
Gehrig Large-field-of-view stereo for automotive applications
JP2011234142A (ja) 立体像生成装置およびそのプログラム
JPH09245195A (ja) 画像処理方法およびその装置
JP2013093836A (ja) 撮像装置、画像処理装置およびその方法
Song et al. If I Share with you my Perspective, Would you Share your Data with me?
JPH07296195A (ja) 画像処理装置及び方法
WO2012014695A1 (ja) 立体撮像装置およびその撮像方法
JPH08116556A (ja) 画像処理方法および装置
JP2011182003A (ja) パノラマカメラ及び360度パノラマ立体映像システム
JP5243359B2 (ja) 立体画像生成システムおよびプログラム
JP2017073710A (ja) 要素画像群生成装置及びそのプログラム
Hill Scalable multi-view stereo camera array for real world real-time image capture and three-dimensional displays

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20070712

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080712

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080712

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090712

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090712

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100712

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100712

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110712

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120712

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130712

Year of fee payment: 11

LAPS Cancellation because of no payment of annual fees