JP4591955B2 - 自由視点映像の隠蔽領域補完装置 - Google Patents
自由視点映像の隠蔽領域補完装置 Download PDFInfo
- Publication number
- JP4591955B2 JP4591955B2 JP2004349703A JP2004349703A JP4591955B2 JP 4591955 B2 JP4591955 B2 JP 4591955B2 JP 2004349703 A JP2004349703 A JP 2004349703A JP 2004349703 A JP2004349703 A JP 2004349703A JP 4591955 B2 JP4591955 B2 JP 4591955B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- background
- depth value
- free viewpoint
- depth
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Processing Or Creating Images (AREA)
- Studio Circuits (AREA)
- Studio Devices (AREA)
Description
松村篤志,内藤整,川田亮一,小池淳,松本修一"任意視点動画像の高圧縮伝送を目的とした隠蔽領域補完方式の提案"電子情報通信学会技術報告 Vol. OIS2003-41, IE2003-66 Sep.2003. pp.63-68 松村篤志,内藤整,川田亮一,小池淳,松本修一"複数枚の背景バッファを用いた自由視点動画像に対する高精度な補完方式"映像情報メディア学会冬季大会 No.8-8, Dec. 2003.
また、背景が激しく動いた場合でも、正確な奥行値を求めることができるようになる。
この結果、任意視点からの映像を高精度に生成することが可能になる。
本発明では、背景バッファに背景の映像のみならずその奥行値も記録するものであり、図1(b)に示されているように、背景バッファ3に格納された背景の形状を、奥行画像に基づく実際の形状と一致させることにより、背景バッファ3に格納された背景と実際の背景2との間の位置のずれを減少させるものである。なお、以降では、必要に応じて、この背景バッファ3を「曲面背景バッファ3」と呼ぶ。該曲面背景バッファ3は、従来の背景バッファ1が映像のみを記録する「平面背景バッファ」に対するものである。
1.仮の自由視点画像の生成(S1)
まず、参照画像Iを撮影した視点から自由視点への回転、および平行移動を3×3の行列R′、および1×3のベクトルt′として定義すると、参照画像Iにおける画素の位置(u,v,1)と自由視点画像Aにおけるその画素に対応する画素(以下、対応点と称す。)の位置(u″,v″、1)との関係は、式(1)によって表される。ここで、DI(u,v)は参照画像Iにおける画素の位置(u,v)の奥行値を表し、(u,v,1)や(u″,v″、1)は3次元上での画素の位置を表す。なお、奥行値の単位は奥行マップの定義に従うものとする。
(DI(u,v)(u,v,1)T−t′)×R′(u″,v″,1)T=0 (1)
A(u″,v″)=I(u,v) (2)
背景領域の抽出は、曲面多層背景バッファおよび単層背景バッファに保存する背景画像を抽出する処理であり、背景画像の生成・更新の前処理として行われる。ここでは、まず、式(3)を用いて参照画像Iの奥行分布の統計をとる。式(3)の右辺は、参照画像Iにおける奥行がnS以上、(n+1)S未満である画素の個数を意味し、Sは統計をとる際のステップ幅を表す。また、nは整数である。
ここでは、背景領域の抽出(S2)で抽出された画像Im(m=1,・・・,M,all)を曲面背景バッファ(曲面多層背景バッファおよび曲面単層背景バッファ)に保存し、それをフレームごとに更新する。画像Im(m=1,・・・,M,all)のそれぞれに背景バッファUm(m=1,・・・,M,all)が対応するとする。なお、画像I0は前景画像であるため、それに対応する背景バッファU0は存在しない。
(uIm ,vIm ,1)T×Bm(u′Um ,v′Um ,1)T=0 ・・・(6)
仮の自由視点画像Aを背景バッファUm(m=1,・・・,M,all)に保存された背景画像およびその奥行値を用いて補完することにより出力画像を生成する。補完は、対応点が存在しない画素に対して行う。
(DUm(u′Um ,v′Um ,1)(u′Um ,v′Um ,1)T−t)×R(u ″,v″,1)T=0 ・・・(9)
ただし、行列Rは視点の回転移動を定義し、ベクトルtは視点の平行移動を定義する。
DIM(uIm ,vIm)(uIm ,vIm ,1)T
=BmDUm(u′Um ,v′Um)(u′Um ,v′Um ,1)・・・(7)’
Claims (1)
- 参照画像とそれに対応する予め与えられている奥行値(基準面からの奥行の大きさ)を記録した奥行マップとから仮の自由視点画像を生成する自由視点画像生成部と、
前記参照画像と前記奥行マップとから、該参照画像を奥行値に基づいて分割し、該分割した結果に従って該参照画像の背景領域を抽出する背景領域抽出部と、
前記背景領域抽出部で抽出された背景領域で構成される背景画像とそれに対応する奥行値を保存する曲面背景バッファと、
前記自由視点画像生成部で生成された仮の自由視点画像を、前記曲面背景バッファに保存された背景画像と奥行値とで補完することにより前記仮の自由視点画像の隠蔽領域を補完する補完部とを有し、
視点の位置又は視線の向きが動いた自由視点画像を生成する場合には、前記曲面背景バッファに保存されている奥行値を、該自由視点画像の新たな基準面に射影変換して補正し該新たな基準面から測った奥行値に更新することを特徴とする自由視点画像の隠蔽領域補完装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004349703A JP4591955B2 (ja) | 2004-10-20 | 2004-12-02 | 自由視点映像の隠蔽領域補完装置 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004305656 | 2004-10-20 | ||
JP2004349703A JP4591955B2 (ja) | 2004-10-20 | 2004-12-02 | 自由視点映像の隠蔽領域補完装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006146846A JP2006146846A (ja) | 2006-06-08 |
JP4591955B2 true JP4591955B2 (ja) | 2010-12-01 |
Family
ID=36626419
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004349703A Expired - Fee Related JP4591955B2 (ja) | 2004-10-20 | 2004-12-02 | 自由視点映像の隠蔽領域補完装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4591955B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9253416B2 (en) * | 2008-06-19 | 2016-02-02 | Motorola Solutions, Inc. | Modulation of background substitution based on camera attitude and motion |
KR101648206B1 (ko) * | 2008-09-25 | 2016-08-12 | 코닌클리케 필립스 엔.브이. | 3차원 이미지 데이터 처리 |
US8565479B2 (en) | 2009-08-13 | 2013-10-22 | Primesense Ltd. | Extraction of skeletons from 3D maps |
US8594425B2 (en) | 2010-05-31 | 2013-11-26 | Primesense Ltd. | Analysis of three-dimensional scenes |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000057350A (ja) * | 1998-08-10 | 2000-02-25 | Toshiba Corp | 画像処理装置と方法及び画像送信装置と方法 |
-
2004
- 2004-12-02 JP JP2004349703A patent/JP4591955B2/ja not_active Expired - Fee Related
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000057350A (ja) * | 1998-08-10 | 2000-02-25 | Toshiba Corp | 画像処理装置と方法及び画像送信装置と方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2006146846A (ja) | 2006-06-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107438866B (zh) | 深度立体:学习从现实世界形象预测新视图 | |
US10542249B2 (en) | Stereoscopic video generation method based on 3D convolution neural network | |
EP2507768B1 (en) | Method and system of generating a three-dimensional view of a real scene for military planning and operations | |
CN109308719B (zh) | 一种基于三维卷积的双目视差估计方法 | |
KR100813100B1 (ko) | 실시간 확장 가능한 스테레오 매칭 시스템 및 방법 | |
US8478024B2 (en) | Depth map generation module for foreground object and method thereof | |
JP2005235211A (ja) | 中間時点の画像合成方法及びそれを適用した3dディスプレイ装置 | |
JP2013225740A (ja) | 画像生成装置、画像表示装置及び画像生成方法並びに画像生成プログラム | |
US9865083B2 (en) | Apparatus and method for inpainting three-dimensional stereoscopic image | |
KR101181199B1 (ko) | 배경 지형 장면의 입체 이미지 생성 방법, 시스템 및 이를 위한 기록매체 | |
US9661307B1 (en) | Depth map generation using motion cues for conversion of monoscopic visual content to stereoscopic 3D | |
KR20080052363A (ko) | 객체/배경 분리 및 영상분할을 이용한 양안/다시점스테레오 정합 장치 및 그 방법 | |
KR100943635B1 (ko) | 디지털카메라의 이미지를 이용한 디스패리티 맵 생성 장치 및 방법 | |
JP4591955B2 (ja) | 自由視点映像の隠蔽領域補完装置 | |
JP2006041811A (ja) | 自由視点画像ストリーミング方式 | |
JP4707093B2 (ja) | 自由視点映像生成システム | |
WO2023171336A1 (ja) | 学習方法、情報処理装置、および記録媒体 | |
CN111951310A (zh) | 双目立体匹配方法、视差图获取装置和计算机存储介质 | |
KR102122523B1 (ko) | 3차원 입체 영상용 깊이지도 보정장치 및 보정방법 | |
JP2019149112A (ja) | 合成装置、方法及びプログラム | |
CN109379577B (zh) | 一种虚拟视点的视频生成方法、装置及设备 | |
US10078905B2 (en) | Processing of digital motion images | |
CN109089100B (zh) | 一种双目立体视频的合成方法 | |
JP4208142B2 (ja) | 自由視点画像の隠蔽領域補完方式 | |
Atokari et al. | Parallax-tolerant 360 live video stitcher |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070912 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20091117 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091209 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100126 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20100512 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100728 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20100820 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100908 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100909 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130924 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |