JP4947593B2 - 局所領域分割による自由視点画像の生成装置およびプログラム - Google Patents
局所領域分割による自由視点画像の生成装置およびプログラム Download PDFInfo
- Publication number
- JP4947593B2 JP4947593B2 JP2007199053A JP2007199053A JP4947593B2 JP 4947593 B2 JP4947593 B2 JP 4947593B2 JP 2007199053 A JP2007199053 A JP 2007199053A JP 2007199053 A JP2007199053 A JP 2007199053A JP 4947593 B2 JP4947593 B2 JP 4947593B2
- Authority
- JP
- Japan
- Prior art keywords
- camera
- image
- viewpoint image
- free viewpoint
- local
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- General Physics & Mathematics (AREA)
- Image Processing (AREA)
- Processing Or Creating Images (AREA)
Description
Δvi=−f・yi/{1−riCOS(Θi−θ)}
Q’=Q+Yi/{1−riCOS(Θi−θ)}
Claims (4)
- 光軸が水平な複数のカメラが、被写体を取り囲むように配置されており、該被写体を撮影した該カメラの画像を用いて、任意の視点の画像を生成する自由視点画像生成装置であって、
実空間を局所領域に分割する局所領域分割手段と、
前記局所領域のそれぞれで、前記カメラのそれぞれの光軸が該局所領域を向くように、該カメラの内部パラメータを用いて、該カメラのそれぞれのカメラ座標系を変換する視線回転変換手段と、
前記カメラ座標系変換後の局所領域のそれぞれで、前記カメラのそれぞれと被写体との距離の情報を用いて、前記画像上の該局所領域のスケールが揃うように、該画像を拡大または縮小変換する拡大縮小手段と、
前記拡大または縮小変換後の局所領域のそれぞれで、前記局所領域内のみの、任意の仮想視点から見た自由視点画像を生成する自由視点画像生成手段と、
前記自由視点画像生成手段で得られた自由視点画像が、前記局所領域のそれぞれで、前記拡大または縮小前のスケールとなるように、該自由視点画像を拡大または縮小変換する逆拡大縮小手段と、
前記逆拡大または逆縮小後の局所領域のそれぞれで、前記カメラのそれぞれの光軸が前記カメラ座標系の変換前の方向を向くように、該カメラの内部パラメータを用いて、該カメラのそれぞれのカメラ座標系を変換する逆視線回転変換手段と、
前記局所領域のそれぞれの自由視点画像を統合する統合手段とを有し、
前記カメラの設置された平面上にない仮想視点からみた自由視点画像を生成するために、前記統合手段において仮想視点の位置に応じて最終的に合成される自由視点画像内における局所領域の仮想視点画像の位置を移動させる処理、または前記自由視点画像生成手段において仮想視点の位置に応じて読み取る光線の情報の位置を移動させる処理をすることを特徴とする自由視点画像の生成装置。 - 請求項1に記載の自由視点画像生成装置において、
前記統合手段において、前記仮想視点の位置が前記カメラの設置された平面から離れた位置にある場合、着目する被写体の中心である着目する局所領域の円筒の中心軸から仮想視点までの視線方向に対する、カメラが配置された平面から仮想視点までの距離であるカメラが配置された水平面を規準とした場合の仮想視点の高さの比に、カメラの焦点距離の画素変換量を乗算することで、着目する局所領域の仮想視点画像の中心の座標の移動量(ただし、移動する向きは逆になる)を得、該座標の縦方向の位置を前記移動量だけ動かして表示することを特徴とする自由視点画像の生成装置。 - 請求項1に記載の自由視点画像生成装置において、
前記自由視点画像生成手段において、前記仮想視点の位置が前記カメラの設置された平面から離れた位置にある場合、着目する被写体の中心である着目する局所領域の円筒の中心軸から仮想視点までの視線方向の距離に対する、カメラが配置された平面から仮想視点までの距離であるカメラが配置された水平面を規準とした場合の仮想点の高さの比に、実空間から光線空間への変換比を乗算することで、着目する局所領域の光線空間の読み込み位置の移動量を得、局所領域の光線空間から光線情報を読み取る位置を前記移動量だけ動かして読み込むことを特徴とする自由視点画像の生成装置。 - 光軸が水平な複数のカメラが、被写体を取り囲むように配置されており、該被写体を撮影した該カメラの画像を用いて、任意の視点の画像を生成するコンピュータを機能させる自由視点画像生成プログラムであって、
コンピュータを、
実空間を局所領域に分割する局所領域分割手段と、
前記局所領域のそれぞれで、前記カメラのそれぞれの光軸が該局所領域を向くように、該カメラの内部パラメータを用いて、該カメラのそれぞれのカメラ座標系を変換する視線回転変換手段と、
前記カメラ座標系変換後の局所領域のそれぞれで、前記カメラのそれぞれと被写体との距離の情報を用いて、前記画像上の該局所領域のスケールが揃うように、該画像を拡大または縮小変換する拡大縮小手段と、
前記拡大または縮小変換後の局所領域のそれぞれで、前記局所領域内のみの、任意の仮想視点から見た自由視点画像を生成する自由視点画像生成手段と、
前記自由視点画像生成手段で得られた自由視点画像が、前記局所領域のそれぞれで、前記拡大または縮小前のスケールとなるように、該自由視点画像を拡大または縮小変換する逆拡大縮小手段と、
前記逆拡大または逆縮小後の局所領域のそれぞれで、前記カメラのそれぞれの光軸が前記カメラ座標系の変換前の方向を向くように、該カメラの内部パラメータを用いて、該カメラのそれぞれのカメラ座標系を変換する逆視線回転変換手段と、
前記局所領域のそれぞれの自由視点画像を統合する統合手段と、
として機能させ、
前記カメラの設置された平面上にない仮想視点からみた自由視点画像を生成するために、前記統合手段は、仮想視点の位置に応じて最終的に合成される自由視点画像内における局所領域の仮想視点画像の位置を移動させる処理、または前記自由視点画像生成手段は、仮想視点の位置に応じて読み取る光線の情報の位置を移動させる処理をするようにしたことを特徴とする自由視点画像の生成プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007199053A JP4947593B2 (ja) | 2007-07-31 | 2007-07-31 | 局所領域分割による自由視点画像の生成装置およびプログラム |
US12/182,630 US8243122B2 (en) | 2007-07-31 | 2008-07-30 | Video method for generating free viewpoint video image using divided local regions |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007199053A JP4947593B2 (ja) | 2007-07-31 | 2007-07-31 | 局所領域分割による自由視点画像の生成装置およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009037301A JP2009037301A (ja) | 2009-02-19 |
JP4947593B2 true JP4947593B2 (ja) | 2012-06-06 |
Family
ID=40337684
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007199053A Expired - Fee Related JP4947593B2 (ja) | 2007-07-31 | 2007-07-31 | 局所領域分割による自由視点画像の生成装置およびプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US8243122B2 (ja) |
JP (1) | JP4947593B2 (ja) |
Families Citing this family (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4990852B2 (ja) * | 2008-07-31 | 2012-08-01 | Kddi株式会社 | 3次元移動の自由視点映像生成システムおよび記録媒体 |
JP5249114B2 (ja) * | 2009-04-03 | 2013-07-31 | Kddi株式会社 | 画像生成装置、方法及びプログラム |
JP5249157B2 (ja) * | 2009-08-26 | 2013-07-31 | Kddi株式会社 | 3次元モデルを高速に高精度化する方法及び装置 |
JP2011151773A (ja) * | 2009-12-21 | 2011-08-04 | Canon Inc | 映像処理装置及び制御方法 |
EP2375746A1 (en) | 2010-03-31 | 2011-10-12 | Deutsche Telekom AG | Method for encoding texture data of free viewpoint television signals, corresponding method for decoding and texture encoder and decoder |
US8384770B2 (en) | 2010-06-02 | 2013-02-26 | Nintendo Co., Ltd. | Image display system, image display apparatus, and image display method |
EP2395768B1 (en) * | 2010-06-11 | 2015-02-25 | Nintendo Co., Ltd. | Image display program, image display system, and image display method |
TW201205180A (en) * | 2010-07-27 | 2012-02-01 | Hon Hai Prec Ind Co Ltd | Camera |
JP5875120B2 (ja) * | 2010-07-30 | 2016-03-02 | 学校法人 芝浦工業大学 | 他視点閉曲面画素値補正装置、他視点閉曲面画素値補正方法、利用者位置情報出力装置、利用者位置情報出力方法 |
KR101729924B1 (ko) | 2010-08-03 | 2017-04-26 | 삼성전자주식회사 | 영상 크기 조절에 기반한 외삽 뷰 생성 장치 및 방법 |
JP5739674B2 (ja) | 2010-09-27 | 2015-06-24 | 任天堂株式会社 | 情報処理プログラム、情報処理装置、情報処理システム、および、情報処理方法 |
US8854356B2 (en) | 2010-09-28 | 2014-10-07 | Nintendo Co., Ltd. | Storage medium having stored therein image processing program, image processing apparatus, image processing system, and image processing method |
US9767598B2 (en) | 2012-05-31 | 2017-09-19 | Microsoft Technology Licensing, Llc | Smoothing and robust normal estimation for 3D point clouds |
US20130321564A1 (en) | 2012-05-31 | 2013-12-05 | Microsoft Corporation | Perspective-correct communication window with motion parallax |
US9846960B2 (en) | 2012-05-31 | 2017-12-19 | Microsoft Technology Licensing, Llc | Automated camera array calibration |
US8976224B2 (en) | 2012-10-10 | 2015-03-10 | Microsoft Technology Licensing, Llc | Controlled three-dimensional communication endpoint |
JP2014082541A (ja) * | 2012-10-12 | 2014-05-08 | National Institute Of Information & Communication Technology | 互いに類似した情報を含む複数画像のデータサイズを低減する方法、プログラムおよび装置 |
US20140132747A1 (en) * | 2012-11-15 | 2014-05-15 | Jessica Stephanie Andrews | Digital intra-oral panaramic arch camera |
JP6163899B2 (ja) * | 2013-06-11 | 2017-07-19 | ソニー株式会社 | 情報処理装置、撮像装置、情報処理方法、及びプログラム |
JP6585371B2 (ja) * | 2015-04-24 | 2019-10-02 | 株式会社デンソーテン | 画像処理装置、画像処理方法および車載装置 |
WO2016178340A1 (ja) | 2015-05-01 | 2016-11-10 | 株式会社電通 | 自由視点映像データ配信システム |
US10204444B2 (en) * | 2016-04-28 | 2019-02-12 | Verizon Patent And Licensing Inc. | Methods and systems for creating and manipulating an individually-manipulable volumetric model of an object |
GB2556910A (en) * | 2016-11-25 | 2018-06-13 | Nokia Technologies Oy | Virtual reality display |
JP6849430B2 (ja) * | 2016-12-27 | 2021-03-24 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
JP6482580B2 (ja) * | 2017-02-10 | 2019-03-13 | キヤノン株式会社 | 情報処理装置、情報処理方法、およびプログラム |
US10818077B2 (en) * | 2018-12-14 | 2020-10-27 | Canon Kabushiki Kaisha | Method, system and apparatus for controlling a virtual camera |
CN113112613B (zh) * | 2021-04-22 | 2022-03-15 | 贝壳找房(北京)科技有限公司 | 模型显示方法、装置、电子设备和存储介质 |
Family Cites Families (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0702494B1 (en) * | 1994-09-19 | 2001-12-05 | Matsushita Electric Industrial Co., Ltd. | Three-dimensional image display apparatus |
US6327381B1 (en) * | 1994-12-29 | 2001-12-04 | Worldscape, Llc | Image transformation and synthesis methods |
US5703961A (en) * | 1994-12-29 | 1997-12-30 | Worldscape L.L.C. | Image transformation and synthesis methods |
JPH10111951A (ja) | 1996-10-04 | 1998-04-28 | Canon Inc | 画像処理方法および装置および記憶媒体 |
US5990935A (en) * | 1997-04-04 | 1999-11-23 | Evans & Sutherland Computer Corporation | Method for measuring camera and lens properties for camera tracking |
US6118414A (en) * | 1997-12-02 | 2000-09-12 | Kintz; Gregory J. | Virtual reality system and method |
US6757422B1 (en) * | 1998-11-12 | 2004-06-29 | Canon Kabushiki Kaisha | Viewpoint position detection apparatus and method, and stereoscopic image display system |
ATE353460T1 (de) * | 1999-09-02 | 2007-02-15 | Canon Kk | Progressive anzeige von zielobjekten |
ATE552572T1 (de) * | 2000-12-01 | 2012-04-15 | Imax Corp | Verfahren und vorrichtung zum erzeugen hochauflösender bilder |
JP3960092B2 (ja) * | 2001-07-12 | 2007-08-15 | 日産自動車株式会社 | 車両用画像処理装置 |
US7940299B2 (en) * | 2001-08-09 | 2011-05-10 | Technest Holdings, Inc. | Method and apparatus for an omni-directional video surveillance system |
US7277121B2 (en) * | 2001-08-29 | 2007-10-02 | Sanyo Electric Co., Ltd. | Stereoscopic image processing and display system |
US8369607B2 (en) * | 2002-03-27 | 2013-02-05 | Sanyo Electric Co., Ltd. | Method and apparatus for processing three-dimensional images |
JP2004258775A (ja) | 2003-02-24 | 2004-09-16 | Canon Inc | 光線空間データ処理方法、空間データ処理装置 |
CN101841728B (zh) * | 2003-04-17 | 2012-08-08 | 夏普株式会社 | 三维图像处理装置 |
US6809887B1 (en) * | 2003-06-13 | 2004-10-26 | Vision Technologies, Inc | Apparatus and method for acquiring uniform-resolution panoramic images |
US7675540B2 (en) * | 2003-08-19 | 2010-03-09 | Kddi Corporation | Concealed regions complementing system of free viewpoint video images |
US7420750B2 (en) * | 2004-05-21 | 2008-09-02 | The Trustees Of Columbia University In The City Of New York | Catadioptric single camera systems having radial epipolar geometry and methods and means thereof |
EP1708010A1 (en) * | 2005-03-28 | 2006-10-04 | Kabushiki Kaisha Toshiba | Image display apparatus |
US20070024701A1 (en) * | 2005-04-07 | 2007-02-01 | Prechtl Eric F | Stereoscopic wide field of view imaging system |
US7471292B2 (en) * | 2005-11-15 | 2008-12-30 | Sharp Laboratories Of America, Inc. | Virtual view specification and synthesis in free viewpoint |
EP1862969A1 (en) * | 2006-06-02 | 2007-12-05 | Eidgenössische Technische Hochschule Zürich | Method and system for generating a representation of a dynamically changing 3D scene |
JP4803594B2 (ja) * | 2006-07-05 | 2011-10-26 | Kddi株式会社 | 局所領域分割による自由視点画像の生成装置およびプログラム |
CN102047651B (zh) * | 2008-06-02 | 2013-03-13 | 松下电器产业株式会社 | 生成法线信息的图像处理装置、方法及视点变换图像生成装置 |
-
2007
- 2007-07-31 JP JP2007199053A patent/JP4947593B2/ja not_active Expired - Fee Related
-
2008
- 2008-07-30 US US12/182,630 patent/US8243122B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
US8243122B2 (en) | 2012-08-14 |
US20090033740A1 (en) | 2009-02-05 |
JP2009037301A (ja) | 2009-02-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4947593B2 (ja) | 局所領域分割による自由視点画像の生成装置およびプログラム | |
JP4803594B2 (ja) | 局所領域分割による自由視点画像の生成装置およびプログラム | |
EP3057066B1 (en) | Generation of three-dimensional imagery from a two-dimensional image using a depth map | |
CN100485720C (zh) | 一种基于序列静态图像的360°环视全景生成方法 | |
JP5054971B2 (ja) | ディジタル3d/360度カメラシステム | |
JP4065488B2 (ja) | 3次元画像生成装置、3次元画像生成方法及び記憶媒体 | |
US6445807B1 (en) | Image processing method and apparatus | |
US20020113865A1 (en) | Image processing method and apparatus | |
Majumder et al. | Immersive teleconferencing: a new algorithm to generate seamless panoramic video imagery | |
KR20100067656A (ko) | 3차원 디스플레이에 대한 렌더링 개선 | |
JP5258049B2 (ja) | 多視点画像生成装置、多視点画像生成方法および多視点画像生成プログラム | |
JP5522794B2 (ja) | 立体像生成装置およびそのプログラム | |
Yu et al. | Multiperspective modeling, rendering, and imaging | |
JP2017158153A (ja) | 画像処理装置および画像処理方法 | |
KR20080034419A (ko) | 3d 영상 생성 및 디스플레이 시스템 | |
CN108510537B (zh) | 3d建模方法和装置 | |
EP0831423A2 (en) | Image processing method and apparatus | |
Zheng et al. | Scanning scene tunnel for city traversing | |
EP4075789A1 (en) | Imaging device, imaging method, and program | |
CN114332356A (zh) | 一种虚实画面结合方法和装置 | |
JP7394566B2 (ja) | 画像処理装置、画像処理方法、および画像処理プログラム | |
EP2962290B1 (en) | Relaying 3d information by depth simulation using 2d pixel displacement | |
JP4925112B2 (ja) | 自由視点画像の生成方法 | |
JPH11265440A (ja) | 任意光源位置の画像合成方法および表示装置 | |
JPH07210705A (ja) | 仮想現実装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100128 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111207 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120119 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120208 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120229 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150316 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |