JP5906165B2 - 仮想視点画像合成装置、仮想視点画像合成方法及び仮想視点画像合成プログラム - Google Patents
仮想視点画像合成装置、仮想視点画像合成方法及び仮想視点画像合成プログラム Download PDFInfo
- Publication number
- JP5906165B2 JP5906165B2 JP2012220253A JP2012220253A JP5906165B2 JP 5906165 B2 JP5906165 B2 JP 5906165B2 JP 2012220253 A JP2012220253 A JP 2012220253A JP 2012220253 A JP2012220253 A JP 2012220253A JP 5906165 B2 JP5906165 B2 JP 5906165B2
- Authority
- JP
- Japan
- Prior art keywords
- patch
- viewpoint
- viewpoint image
- image
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 239000000203 mixture Substances 0.000 title claims description 13
- 238000000034 method Methods 0.000 title claims description 11
- 239000002131 composite material Substances 0.000 claims description 14
- 230000008878 coupling Effects 0.000 claims description 7
- 238000010168 coupling process Methods 0.000 claims description 7
- 238000005859 coupling reaction Methods 0.000 claims description 7
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- 238000001514 detection method Methods 0.000 description 15
- 238000012545 processing Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000007781 pre-processing Methods 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000002156 mixing Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000011049 filling Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000001308 synthesis method Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Landscapes
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Image Analysis (AREA)
Description
以下、図面を参照して、本発明の第1実施形態による仮想視点画像合成装置を説明する。図1は第1実施形態の構成を示すブロック図である。この図において、符号1は、多視点画像を記憶する多視点画像記憶部である。符号2は、多視点画像記憶部1に記憶された多視点画像を撮像した際のカメラパラメータを記憶するカメラパラメータ記憶部である。符号3は、事前処理を行う事前処理装置であり、コンピュータ装置によって構成する。符号31は、多視点画像記憶部1に記憶されている多視点画像と、カメラパラメータ記憶部2に記憶されたカメラパラメータとを読み出して、複数の映像間の対応点を検出する対応点検出部である。符号32は、対応点検出部31が検出した対応点の選出を行う対応点選出部である。
次に、本発明の第2実施形態による仮想視点画像合成装置を説明する。図3は第2実施形態の構成を示すブロック図である。図3において、図1に示す装置と同一の部分には同一の符号を付し、その説明を省略する。図3に示す装置が図1に示す装置と異なる点は、事前処理装置3内に領域分割部33を新たに設けた点である。領域分割部33は、入力多視点映像中において、オブジェクトごとの領域分割と各領域ごとのラベリングを行う。領域分割には様々な手法が存在するが、ここはグラフカットによる領域分割を行う。
Claims (4)
- 多視点画像を入力する画像入力手段と、
前記多視点画像間において複数の対応点を検出する対応点検出手段と、
検出された複数の対応点の中から所定の条件を満たす対応点のみを選出する対応点選出手段と、
所望の視点を設定する視点位置設定手段と、
前記選出された対応点の画素の奥行き値に従い、前記設定された視点における合成画像である合成視点画像に対して前記画素を投影する画素投影手段と、
前記合成視点画像において、前記画素投影手段により投影されなかった未投影画素を含む複数のパッチ領域を探索するパッチ探索手段と、
前記探索したパッチ領域それぞれを前記合成視点画像に対して投影するパッチ投影手段と、
前記合成視点画像に投影したそれぞれの前記パッチ領域を結合するパッチ結合手段と
を備えることを特徴とする仮想視点画像合成装置。 - 前記多視点画像中において、オブジェクトごとの領域分割を行う領域分割手段をさらに備え、
前記パッチ結合手段は、前記パッチ領域内の画素が別領域であれば、前記パッチ領域の中央画素と同じ領域の画素を選択して前記パッチ領域の結合を行うことを特徴とする請求項1に記載の仮想視点画像合成装置。 - 多視点画像を入力する画像入力ステップと、
前記多視点画像間において複数の対応点を検出する対応点検出ステップと、
検出された複数の対応点の中から所定の条件を満たす対応点のみを選出する対応点選出ステップと、
所望の視点を設定する視点位置設定ステップと、
前記選出された対応点の画素の奥行き値に従い、前記設定された視点における合成画像である合成視点画像に対して前記画素を投影する画素投影ステップと、
前記合成視点画像において、前記画素投影ステップにより投影されなかった未投影画素を含む複数のパッチ領域を探索するパッチ探索ステップと、
前記探索したパッチ領域それぞれを前記合成視点画像に対して投影するパッチ投影ステップと、
前記合成視点画像に投影したそれぞれの前記パッチ領域を結合するパッチ結合ステップと
を有することを特徴とする仮想視点画像合成方法。 - コンピュータを、請求項1または2に記載の仮想視点画像合成装置として機能させるための仮想視点画像合成プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012220253A JP5906165B2 (ja) | 2012-10-02 | 2012-10-02 | 仮想視点画像合成装置、仮想視点画像合成方法及び仮想視点画像合成プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012220253A JP5906165B2 (ja) | 2012-10-02 | 2012-10-02 | 仮想視点画像合成装置、仮想視点画像合成方法及び仮想視点画像合成プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014071870A JP2014071870A (ja) | 2014-04-21 |
JP5906165B2 true JP5906165B2 (ja) | 2016-04-20 |
Family
ID=50746955
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012220253A Expired - Fee Related JP5906165B2 (ja) | 2012-10-02 | 2012-10-02 | 仮想視点画像合成装置、仮想視点画像合成方法及び仮想視点画像合成プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5906165B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6306952B2 (ja) * | 2014-06-23 | 2018-04-04 | 日本電信電話株式会社 | 中間視点画像生成装置、中間視点画像生成方法及びコンピュータプログラム |
CN104935908B (zh) * | 2015-04-16 | 2017-04-12 | 东南大学 | 一种3d视频转多视点自由立体显示的方法 |
US11089213B2 (en) | 2015-08-03 | 2021-08-10 | Sony Group Corporation | Information management apparatus and information management method, and video reproduction apparatus and video reproduction method |
JP7506493B2 (ja) | 2020-03-16 | 2024-06-26 | キヤノン株式会社 | 画像処理装置、画像処理方法、およびプログラム |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3513219B2 (ja) * | 1994-07-12 | 2004-03-31 | キヤノン株式会社 | 対応点マッチング方法および装置 |
JPH09200803A (ja) * | 1996-01-23 | 1997-07-31 | Canon Inc | 画像処理装置及び画像処理方法 |
TW201103787A (en) * | 2009-07-31 | 2011-02-01 | Automotive Res & Testing Ct | Obstacle determination system and method utilizing bird's-eye images |
JP5373931B2 (ja) * | 2012-03-22 | 2013-12-18 | 日本電信電話株式会社 | 仮想視点画像生成方法,仮想視点画像生成装置および仮想視点画像生成プログラム |
-
2012
- 2012-10-02 JP JP2012220253A patent/JP5906165B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2014071870A (ja) | 2014-04-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102013978B1 (ko) | 이미지들의 융합을 위한 방법 및 장치 | |
JP6914926B2 (ja) | Imuおよび画像データを使用した合成物体を含む多視点画像データの拡張 | |
US9237330B2 (en) | Forming a stereoscopic video | |
JP5156837B2 (ja) | 領域ベースのフィルタリングを使用する奥行マップ抽出のためのシステムおよび方法 | |
US9412151B2 (en) | Image processing apparatus and image processing method | |
JP5011168B2 (ja) | 仮想視点画像生成方法、仮想視点画像生成装置、仮想視点画像生成プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
JP4658223B2 (ja) | 画像生成方法、装置、およびそのプログラム並びにプログラムを記録した記録媒体 | |
US8941750B2 (en) | Image processing device for generating reconstruction image, image generating method, and storage medium | |
US20140241576A1 (en) | Apparatus and method for camera tracking | |
US10681272B2 (en) | Device for providing realistic media image | |
US20130127988A1 (en) | Modifying the viewpoint of a digital image | |
US8611642B2 (en) | Forming a steroscopic image using range map | |
KR101538947B1 (ko) | 실감형 자유시점 영상 제공 장치 및 방법 | |
CN105191287A (zh) | 替换视频流中的对象的方法及计算机程序 | |
JP7285834B2 (ja) | 三次元再構成方法および三次元再構成装置 | |
JP2022174085A (ja) | 場面の積層深度データを生成するための方法 | |
JP5906165B2 (ja) | 仮想視点画像合成装置、仮想視点画像合成方法及び仮想視点画像合成プログラム | |
JP2007053621A (ja) | 画像生成装置 | |
JP6148154B2 (ja) | 画像処理装置及び画像処理プログラム | |
US20220206668A1 (en) | Dynamic image capturing apparatus and method using arbitrary viewpoint image generation technology | |
Knorr et al. | Stereoscopic 3D from 2D video with super-resolution capability | |
JP6730695B2 (ja) | 特徴追跡及びモデル登録により三次元多視点を再構成するための方法。 | |
KR20170073937A (ko) | 영상 데이터 전송 방법 및 장치, 및 3차원 영상 생성 방법 및 장치 | |
US9602708B2 (en) | Rectified stereoscopic 3D panoramic picture | |
JP6426594B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150205 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20151221 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160105 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160225 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160315 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160318 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5906165 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |