JP5627498B2 - 立体画像生成装置及び方法 - Google Patents
立体画像生成装置及び方法 Download PDFInfo
- Publication number
- JP5627498B2 JP5627498B2 JP2011027420A JP2011027420A JP5627498B2 JP 5627498 B2 JP5627498 B2 JP 5627498B2 JP 2011027420 A JP2011027420 A JP 2011027420A JP 2011027420 A JP2011027420 A JP 2011027420A JP 5627498 B2 JP5627498 B2 JP 5627498B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- viewpoint
- viewpoints
- evaluation value
- parallax
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
- H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Processing Or Creating Images (AREA)
Description
本実施形態の立体画像生成装置は、少なくとも1枚の入力画像と、入力画像に対応する奥行き情報から、入力画像とは異なる視点の視差画像を生成する。本実施形態の立体画像生成装置が生成する視差画像は、立体表示可能であればいずれの方式のいずれであっても構わない。フィールドシーケンシャル、フレームシーケンシャルのどちらでも構わないが、本実施形態では、フレームシーケンシャル場合について例示する。また、入力画像は、二次元画像だけでなく立体画像であっても構わない。
3つの視点の組を候補とする例を述べたが、複数であれば任意の数でよい。なお、候補の数が多くなるほど演算量が必要になる。そのため、許容される演算量に応じて候補の数を設定するのが好ましい。また、視点の組の要素の1つに入力画像が撮影された視点と同じ視点を含めることで、後段の視差画像生成においての演算量を削減することが可能である。例えば、前述の例の(-1.0, 0.0),(0.0, 1.0)は、入力画像が撮影された視点と同じ視点を含む。
全てのωの要素ωjについてS9022〜S9023の処理が終了した場合(S9024,YES)、Map(i,ωj)のすべての画素i∈Pに対して、Map(i,ωj)=OCCLUDEであるか否かを判定する(S9025)。Map(i,ωj)=OCCLUDEの場合(S9025,Yes)、E(ω)に当該画素の数を加算する(S9026)。すなわち、マップ関数Map(i,ωj)の全ての画素i∈Pの中で、Map(i,ωj)=OCCLUDEである画素の数をE(ω)に加算する。Map(i,ωj)=OCCLUDEでない場合(Map(i,ωj)=NOT_OCCLUDEの場合)は(S9025,NO)、ステップS9026の処理は行わず、ステップS9027遷移する。
図11は、算出部101が行う評価値の算出方法の別の例について述べる図である。図10の処理においては、陰面領域画素数を単純に算出していた。陰面領域画素の周辺に画素値が割り当てられている場合は、内挿補間が行える。そのため陰面領域の画素が大きな画質劣化を引き起こさない場合がある。逆に、陰面領域画素が集中した場合は内挿補間などの手段がとれないために、陰面領域の画素値の推定が困難となる。この困難さを考慮した評価値の算出方法を図11に示す。図10のS9025〜S9028のステップをS1101〜S1108に置き換えて算出部101が処理すればよい。
また、視点の組は時間的に不連続であると、それによる映像の時間的つながりがなくなるために、主観的に大きな画質劣化につながる。そこで、時間的に1フレーム前において視差画像を作成した場合の視点の組ωt-1となるべく近い視点の組が後述する選択部102において選択されるようにするような評価値E(ω)の導出法も考えられる。具体的には、図10のS9026におけるE(ω)++の代わりに、E(ω)+=(1-exp(-(Norm(ω-ωt-1))))として、視点の組ωが前フレーム作成時に選択された視点の組ωt-1に近ければ近いほど評価値を小さくすることも可能である。Norm()は、先に述べたように、一般的なL1ノルムやL2ノルムを使用する。同様に、図11のS1103におけるE(ω)+=weightの代わりにE(ω)+=weight*(1-exp(-(Norm(ω-ωt-1))))のようにして、同様の効果を持たせてもよい。
第1の実施形態では、あらかじめ設定した複数の第2の視点の組から視差画像を生成した場合に現れる陰面領域の画素数が大きくなればなるほど大きくなる評価値を算出し、評価値が最小になる第2の視点の組を選択していた。その場合、視点が時系列に急激な変化を起こす可能性がある。動画像が入力されている場合において、視点の急激な変化が起こると、立体映像の時間的なつながりがなくなり、視聴者に違和感を与える。本実施形態では、視点の変化を緩やかにすることで、上記問題を解消する。
hは時定数を表している。その範囲は、0<h<1である。
第2の実施形態では、陰面領域に属する画素数が小さくなる視点の組になるまでは緩やかに変化するため、この遷移の間は陰面領域に属する画素数が必ずしも小さくならない。一方で、シーンチェンジのタイミングにおいては、視差位置を急激に変化させても視聴者に違和感を与えることはない。そこで、本実施形態では、動画のシーンが変化するタイミングにおいては、視差位置の変化を大きくすることで、より適切な視点の組による立体映像生成方法を提供する。
201、302…視点制御部、
301…検出部
Claims (11)
- 少なくとも1枚の画像と、前記画像に対応する奥行き情報から、前記画像とは異なる視点の視差画像を生成する装置において、
2つ以上の視点を含む組毎に、視差画像を作成した場合に生じる陰面領域が大きくなる程、大きな値となる評価値を、前記奥行き情報から算出する算出部と
前記視点の組に対して算出された前記評価値が最小となる前記視点の組を選択する選択部と、
前記選択部において選択された前記視点の組に対応する視点の視差画像を、前記画像から生成する生成部と、
を備える立体画像生成装置。 - 前記2つ以上の視点を含む組のうち少なくとも1つの視点は、前記画像に対応する視点を含む請求項1に記載の立体画像生成装置。
- 前記算出部は、2つの視点からなる前記視点の組毎に前記評価値を算出する請求項1に記載の立体画像生成装置。
- 前記算出部は、前記視点の組毎に、それぞれの視点で前記視差画像を作成した場合に生じる前記陰面領域の面積の和から、前記評価値を算出する請求項1に記載の立体画像生成装置。
- 前記算出部は、前記画像に対応する奥行き情報において、隣接する画素間の奥行き値の差分和から前記評価値を算出する請求項1に記載の立体画像生成装置。
- 前記算出部は、前記陰面領域の位置が、前記画像上の中心位置に近いほど大きくなる重みを用いて前記評価値を求める請求項1に記載の立体画像生成装置。
- 前記算出部は、前記陰面領域に属する画素の配置が集中している程、大きくなる重みを用いて前記評価値を求める請求項1に記載の立体画像生成装置。
- 前記算出部は、前記画像が動画像である場合に、ある視点の組における前記評価値は、既に前記評価値を算出した画像において前記選択された視点に近いほど小さくなる重みを用いた方法で求める請求項1に記載の立体画像生成装置。
- 前記画像が動画像である場合に、時間軸上での視点の変化を抑制する視点制御部をさらに備える請求項1に記載の立体画像生成装置。
- 前記画像が動画像である場合に、シーンチェンジを検出する検出部をさらに備え、
検出された前記シーンチェンジの前後における視点の変化を大きくする請求項9記載の立体画像生成装置。 - 少なくとも1枚の画像と、前記画像に対応する奥行き情報から、前記画像とは異なる視点の視差画像を生成する方法において、
2つ以上の視点を含む組毎に、視差画像を作成した場合に生じる陰面領域が大きくなる程、大きな値となる評価値を前記奥行き情報に基づいて算出し、
前記視点の組に対して算出された前記評価値が最小となる前記視点の組を選択し、
選択された前記視点の組に対応する視点の視差画像を、前記画像と前記奥行き情報から生成する、
立体画像生成方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011027420A JP5627498B2 (ja) | 2010-07-08 | 2011-02-10 | 立体画像生成装置及び方法 |
US13/052,937 US20120008855A1 (en) | 2010-07-08 | 2011-03-21 | Stereoscopic image generation apparatus and method |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010156136 | 2010-07-08 | ||
JP2010156136 | 2010-07-08 | ||
JP2011027420A JP5627498B2 (ja) | 2010-07-08 | 2011-02-10 | 立体画像生成装置及び方法 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011044128A Division JP5431393B2 (ja) | 2010-07-08 | 2011-03-01 | 立体画像生成装置及び方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012034336A JP2012034336A (ja) | 2012-02-16 |
JP5627498B2 true JP5627498B2 (ja) | 2014-11-19 |
Family
ID=45438626
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011027420A Expired - Fee Related JP5627498B2 (ja) | 2010-07-08 | 2011-02-10 | 立体画像生成装置及び方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20120008855A1 (ja) |
JP (1) | JP5627498B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5318168B2 (ja) * | 2011-09-07 | 2013-10-16 | シャープ株式会社 | 立体画像処理装置、立体画像処理方法、及びプログラム |
JP2015154101A (ja) * | 2014-02-10 | 2015-08-24 | ソニー株式会社 | 画像処理方法、画像処理装置及び電子機器 |
US10244225B2 (en) | 2014-06-12 | 2019-03-26 | Inuitive Ltd. | Method for determining depth for generating three dimensional images |
CN110351548B (zh) * | 2019-06-27 | 2020-12-11 | 天津大学 | 一种深度学习及视差图加权指导的立体图像质量评价方法 |
Family Cites Families (39)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3826236B2 (ja) * | 1995-05-08 | 2006-09-27 | 松下電器産業株式会社 | 中間像生成方法、中間像生成装置、視差推定方法、及び画像伝送表示装置 |
US6269175B1 (en) * | 1998-08-28 | 2001-07-31 | Sarnoff Corporation | Method and apparatus for enhancing regions of aligned images using flow estimation |
JP4193290B2 (ja) * | 1999-06-29 | 2008-12-10 | コニカミノルタホールディングス株式会社 | 多眼式データ入力装置 |
JP3728160B2 (ja) * | 1999-12-06 | 2005-12-21 | キヤノン株式会社 | 奥行き画像計測装置及び方法、並びに複合現実感提示システム |
CA2317336A1 (en) * | 2000-09-06 | 2002-03-06 | David Cowperthwaite | Occlusion resolution operators for three-dimensional detail-in-context |
US6756993B2 (en) * | 2001-01-17 | 2004-06-29 | The University Of North Carolina At Chapel Hill | Methods and apparatus for rendering images using 3D warping techniques |
US9031383B2 (en) * | 2001-05-04 | 2015-05-12 | Legend3D, Inc. | Motion picture project management system |
GB2377870B (en) * | 2001-05-18 | 2005-06-29 | Canon Kk | Method and apparatus for generating confidence data |
US8369607B2 (en) * | 2002-03-27 | 2013-02-05 | Sanyo Electric Co., Ltd. | Method and apparatus for processing three-dimensional images |
EP1437898A1 (en) * | 2002-12-30 | 2004-07-14 | Koninklijke Philips Electronics N.V. | Video filtering for stereo images |
KR100505334B1 (ko) * | 2003-03-28 | 2005-08-04 | (주)플렛디스 | 운동 시차를 이용한 입체 영상 변환 장치 |
ATE372563T1 (de) * | 2003-09-30 | 2007-09-15 | Koninkl Philips Electronics Nv | Bildwiedergabe mit interaktiver bewegungsparallaxe |
EP1587035A1 (en) * | 2004-04-14 | 2005-10-19 | Koninklijke Philips Electronics N.V. | Ghost artifact reduction for rendering 2.5D graphics |
JP4242318B2 (ja) * | 2004-04-26 | 2009-03-25 | 任天堂株式会社 | 3次元画像生成装置および3次元画像生成プログラム |
JP2006171889A (ja) * | 2004-12-13 | 2006-06-29 | Ricoh Co Ltd | 3次元形状表示システム、3次元形状表示方法及び3次元形状表示プログラム |
JP2008537250A (ja) * | 2005-04-19 | 2008-09-11 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 奥行き検知装置及び方法 |
US7599547B2 (en) * | 2005-11-30 | 2009-10-06 | Microsoft Corporation | Symmetric stereo model for handling occlusion |
CN101390131B (zh) * | 2006-02-27 | 2013-03-13 | 皇家飞利浦电子股份有限公司 | 呈现输出图像 |
EP2048621B1 (en) * | 2007-10-09 | 2010-05-26 | Agfa HealthCare NV | Method and apparatus for volume rendering of medical data sets |
US8253736B2 (en) * | 2007-01-29 | 2012-08-28 | Microsoft Corporation | Reducing occlusions in oblique views |
GB0708676D0 (en) * | 2007-05-04 | 2007-06-13 | Imec Inter Uni Micro Electr | A Method for real-time/on-line performing of multi view multimedia applications |
US8953684B2 (en) * | 2007-05-16 | 2015-02-10 | Microsoft Corporation | Multiview coding with geometry-based disparity prediction |
US8073190B2 (en) * | 2007-11-16 | 2011-12-06 | Sportvision, Inc. | 3D textured objects for virtual viewpoint animations |
CN102138334A (zh) * | 2008-08-29 | 2011-07-27 | 汤姆逊许可公司 | 利用启发式视图合并的视图合成 |
JP5238429B2 (ja) * | 2008-09-25 | 2013-07-17 | 株式会社東芝 | 立体映像撮影装置および立体映像撮影システム |
KR101468267B1 (ko) * | 2008-10-02 | 2014-12-15 | 프라운호퍼-게젤샤프트 추르 푀르데룽 데어 안제반텐 포르슝 에 파우 | 중간 뷰 합성 및 멀티-뷰 데이터 신호 추출 |
US8482654B2 (en) * | 2008-10-24 | 2013-07-09 | Reald Inc. | Stereoscopic image format with depth information |
GB0907870D0 (en) * | 2009-05-07 | 2009-06-24 | Univ Catholique Louvain | Systems and methods for the autonomous production of videos from multi-sensored data |
US8368696B2 (en) * | 2009-06-19 | 2013-02-05 | Sharp Laboratories Of America, Inc. | Temporal parallax induced display |
US8509519B2 (en) * | 2009-07-29 | 2013-08-13 | Intellectual Ventures Fund 83 Llc | Adjusting perspective and disparity in stereoscopic image pairs |
WO2011011917A1 (zh) * | 2009-07-29 | 2011-02-03 | 华为终端有限公司 | 视频通信方法、装置和系统 |
JP5307896B2 (ja) * | 2009-08-20 | 2013-10-02 | トムソン ライセンシング | ステレオ画像符号化方法、ステレオ画像符号化装置及びステレオ画像符号化プログラム |
WO2011030399A1 (ja) * | 2009-09-08 | 2011-03-17 | 株式会社 東芝 | 画像処理方法及び装置 |
WO2011033673A1 (ja) * | 2009-09-18 | 2011-03-24 | 株式会社 東芝 | 画像処理装置 |
JP5209121B2 (ja) * | 2009-09-18 | 2013-06-12 | 株式会社東芝 | 視差画像生成装置 |
JP5402504B2 (ja) * | 2009-10-15 | 2014-01-29 | 株式会社Jvcケンウッド | 擬似立体画像作成装置及び擬似立体画像表示システム |
US8339470B2 (en) * | 2009-11-30 | 2012-12-25 | Indian Institute Of Technology Madras | Method and system for generating a high resolution image |
EP2559256A4 (en) * | 2010-04-14 | 2015-08-26 | Ericsson Telefon Ab L M | METHODS AND ARRANGEMENTS FOR 3D SCENE REPRESENTATION |
SG11201500910RA (en) * | 2012-08-21 | 2015-03-30 | Pelican Imaging Corp | Systems and methods for parallax detection and correction in images captured using array cameras |
-
2011
- 2011-02-10 JP JP2011027420A patent/JP5627498B2/ja not_active Expired - Fee Related
- 2011-03-21 US US13/052,937 patent/US20120008855A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
JP2012034336A (ja) | 2012-02-16 |
US20120008855A1 (en) | 2012-01-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6094863B2 (ja) | 画像処理装置、画像処理方法、プログラム、集積回路 | |
US8116557B2 (en) | 3D image processing apparatus and method | |
JP6147275B2 (ja) | 立体画像処理装置、立体画像処理方法、及びプログラム | |
JP4056154B2 (ja) | 2次元連続映像の3次元映像変換装置及び方法並びに3次元映像の後処理方法 | |
JP5750505B2 (ja) | 立体映像エラー改善方法及び装置 | |
JP6021541B2 (ja) | 画像処理装置及び方法 | |
JP5887267B2 (ja) | 3次元画像補間装置、3次元撮像装置および3次元画像補間方法 | |
US20110304708A1 (en) | System and method of generating stereo-view and multi-view images for rendering perception of depth of stereoscopic image | |
JP5879713B2 (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
TWI493505B (zh) | 影像處理方法以及影像處理裝置 | |
JP5291755B2 (ja) | 立体視画像生成方法および立体視画像生成システム | |
JP2013527646A5 (ja) | ||
JP2013005259A (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
TW201242335A (en) | Image processing device, image processing method, and program | |
JP5755571B2 (ja) | 仮想視点画像生成装置、仮想視点画像生成方法、制御プログラム、記録媒体、および立体表示装置 | |
JP6585938B2 (ja) | 立体像奥行き変換装置およびそのプログラム | |
JP6128442B2 (ja) | 立体画像および画像シーケンスのステレオベース拡張のための方法および装置{method and device for stereo base extension of stereoscopic images and image sequences} | |
JP6033625B2 (ja) | 多視点画像生成装置、画像生成方法、表示装置、プログラム、及び、記録媒体 | |
JP5627498B2 (ja) | 立体画像生成装置及び方法 | |
JP6148154B2 (ja) | 画像処理装置及び画像処理プログラム | |
JP7159198B2 (ja) | 奥行きマップを処理するための装置及び方法 | |
JP5931062B2 (ja) | 立体画像処理装置、立体画像処理方法、及びプログラム | |
JP5127973B1 (ja) | 映像処理装置、映像処理方法および映像表示装置 | |
JP2014072809A (ja) | 画像生成装置、画像生成方法、画像生成装置用プログラム | |
JP2012105172A (ja) | 画像生成装置、画像生成方法、コンピュータプログラムおよび記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20111125 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20111205 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20131025 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140312 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140404 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140602 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140905 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140930 |
|
LAPS | Cancellation because of no payment of annual fees |