JP5058820B2 - 奥行きの知覚 - Google Patents
奥行きの知覚 Download PDFInfo
- Publication number
- JP5058820B2 JP5058820B2 JP2007550909A JP2007550909A JP5058820B2 JP 5058820 B2 JP5058820 B2 JP 5058820B2 JP 2007550909 A JP2007550909 A JP 2007550909A JP 2007550909 A JP2007550909 A JP 2007550909A JP 5058820 B2 JP5058820 B2 JP 5058820B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- input
- generating
- input image
- view
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Processing Or Creating Images (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
- Crystals, And After-Treatments Of Crystals (AREA)
- Magnetic Heads (AREA)
- Massaging Devices (AREA)
Description
S=C/D (1)
ここで、Sは像差、Cは定数値、Dは奥行きである。奥行きマップの生成は、像差マップの生成と等価と考えられる。
・不規則形状のオブジェクトを有する変調画像を生成する段階と;
・入力画像の一部分のピクセル値を前記変調画像のさらなるピクセル値に基づいて変調して中間画像を得る段階と;
・前記中間画像を像差データに基づいてゆがめることによってマルチビュー画像を生成する段階、
とを有することにおいて達成される。
・ノイズを生成することによって第一の画像を生成する段階と;
・前記第一の画像を低域通過フィルタでフィルタ処理して第二の画像を生じる段階と;
・閾値によって前記第二の画像のピクセルを分類して変調画像を得る段階、
とを有する。
・不規則形状のオブジェクトを有する変調画像を生成する生成手段と;
・入力画像の一部分のピクセル値を前記変調画像のさらなるピクセル値に基づいて変調して中間画像を得る変調手段と;
・前記中間画像を像差データに基づいてゆがめることによってマルチビュー画像を生成する手段、
とを有することにおいて達成される。
・不規則形状のオブジェクトを有する変調画像を生成する生成手段と;
・入力画像の一部分のピクセル値を前記変調画像のさらなるピクセル値に基づいて変調して中間画像を得る変調手段と;
・前記中間画像を像差データに基づいてゆがめることによってマルチビュー画像を生成する手段、
とを有することにおいて達成される。
・不規則形状のオブジェクトを有する変調画像を生成する段階と;
・入力画像の一部分のピクセル値を前記変調画像のさらなるピクセル値に基づいて変調して中間画像を得る段階と;
・前記中間画像を像差データに基づいてゆがめることによってマルチビュー画像を生成する段階、
とを実行する機能を与えることにおいて達成される。
・不規則形状のオブジェクト106〜112を有する変調画像100を生成するための変調画像生成装置206と;
・入力画像102の一部分のピクセル値を、変調画像100のさらなるピクセル値に基づいて変調して中間画像104を得るための変調装置202と;
・前記中間画像を像差データに基づく第一の変換に基づいてゆがめることによって第一の出力画像を生成し、前記中間画像を前記像差データに基づく第二の変換に基づいてゆがめることによって第二の出力画像を生成する生成装置204、
とを有する。
ここで、
・Linは、入力画像102の座標(x,y)をもつピクセルの輝度値;
・Loutは、中間画像、すなわち変調装置の出力の、座標(x,y)をもつピクセルの輝度値;
・Lmodは、変調画像100の座標(x,y)をもつピクセルの輝度値;
・g(x,y)は好ましくはユーザーによって調整可能な利得因子である。利得g(x,y)は全ピクセルについて等しくてもよいが、好ましくは各ピクセルが独自の利得因子をもつ。利得g(x,y)の実際の値は利得入力コネクタ214によって与えられることができる。
・入力画像のどの領域が均一であるかを判別するための鮮鋭度計算装置302。鮮鋭度計算装置302の出力は、鮮鋭度入力コネクタ220によってレンダリング・ユニット200に与えられる;
・連続する入力画像の間の動きを推定するための動き推定器304。動き推定器304の出力は、動きベクトル入力コネクタ218によってレンダリング・ユニット200に与えられる;
・入力画像中のさまざまなオブジェクトの奥行き情報を決定するための奥行き生成ユニット306。奥行き情報に基づいて、像差マップが決定され、像差入力コネクタ216によってレンダリング・ユニット300に与えられる。
・第一の画像を生成するためのランダムノイズ発生器402と;
・前記第一の画像をフィルタ処理して第二の画像を生じる低域通過フィルタ404とを有する。前記低域通過フィルタの特性は、適切な大きさをもつ不規則形状のオブジェクトを生成するため、像差データに関係している。
・前記第二の画像のピクセル値を、所定の閾値と比較する比較装置406。前記第二の画像のピクセルを分類して変調画像を生じるためである。分類は、つながったピクセルの諸グループが、それぞれの不規則形状のオブジェクトに属するとラベル付けされ、一方、つながったピクセルのさらなる諸グループは背景とラベル付けされるようなものである。
・入力画像を表すビデオ信号を受信する受信ユニット502と;
・図3との関連で述べた、受信した入力画像に基づいてマルチビュー画像を生成するためのマルチビュー画像生成ユニット300と;
・マルチビュー画像生成ユニット300によって与えられるようなマルチビュー画像を表示するマルチビュー表示装置504。
Claims (10)
- 入力画像および像差データに基づいてマルチビュー画像をレンダリングする方法であって:
・入力画像のうち少なくとも実質的に均一な部分のピクセル値を、不規則形状のオブジェクトを有する変調画像のさらなるピクセル値に基づいて変調して中間画像を得る段階と;
・前記中間画像を前記像差データに基づいてゆがめることによってマルチビュー画像を生成する段階、
とを有する方法。 - 前記不規則形状のオブジェクトの形状と前記入力画像中のオブジェクトの形状との間には相関が無い、請求項1記載の方法。
- 前記不規則形状のオブジェクトの平均の大きさが前記像差データの平均値と同じオーダーである、請求項2記載の方法。
- 前記入力画像の前記部分が実質的に均一な領域である、請求項1ないし3のうちいずれか一項記載の方法。
- 請求項1ないし4のうちいずれか一項記載の方法であって、前記変調画像を生成する段階をさらに有し、当該生成段階は:
・ノイズを生成することによって第一の画像を生成する段階と;
・前記第一の画像を低域通過フィルタでフィルタ処理して第二の画像を生じる段階と;
・前記第二の画像のピクセルを閾値によって分類して前記変調画像を得る段階、
とを有する方法。 - 請求項1ないし5のうちいずれか一項記載の方法であって、前記入力画像のピクセル値の前記変調が、局所的な像差値に依存してピクセルの輝度値を増加又は減少させることを含む、方法。
- 請求項1ないし6のうちいずれか一項記載の方法であって、変調画像を生成する段階が、前記入力画像が属している入力画像のシーケンスに基づいて計算される動きベクトルに基づいている、方法。
- 入力画像および像差データに基づいてマルチビュー画像をレンダリングするレンダリング・ユニットであって:
・入力画像のうち少なくとも実質的に均一な部分のピクセル値を、不規則形状のオブジェクトを有する変調画像のさらなるピクセル値に基づいて変調して中間画像を得る変調手段と;
・前記中間画像を前記像差データに基づいてゆがめることによってマルチビュー画像を生成する生成手段、
とを有するレンダリング・ユニット。 - 入力画像に対応する信号を受信する受信手段と;
請求項8記載のマルチビュー画像をレンダリングするレンダリング・ユニットと;
マルチビュー画像を表示するための表示装置、
とを有する画像処理装置。 - 入力画像および像差データに基づいてマルチビュー画像をレンダリングするための命令を有する、処理手段およびメモリを有するコンピュータ装置によってロードされるべきコンピュータ・プログラムであって、ロードされたのちに、前記処理手段に:
・入力画像のうち少なくとも実質的に均一な部分のピクセル値を、不規則形状のオブジェクトを有する変調画像のさらなるピクセル値に基づいて変調して中間画像を得る段階と;
・前記中間画像を前記像差データに基づいてゆがめることによってマルチビュー画像を生成する段階、
とを実行する機能を与える、コンピュータ・プログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP05100150.1 | 2005-01-12 | ||
EP05100150 | 2005-01-12 | ||
PCT/IB2006/050114 WO2006075304A2 (en) | 2005-01-12 | 2006-01-12 | Depth perception |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008527561A JP2008527561A (ja) | 2008-07-24 |
JP5058820B2 true JP5058820B2 (ja) | 2012-10-24 |
Family
ID=36677999
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007550909A Expired - Fee Related JP5058820B2 (ja) | 2005-01-12 | 2006-01-12 | 奥行きの知覚 |
Country Status (9)
Country | Link |
---|---|
US (1) | US8270768B2 (ja) |
EP (1) | EP1839267B1 (ja) |
JP (1) | JP5058820B2 (ja) |
KR (1) | KR101249236B1 (ja) |
CN (1) | CN100565589C (ja) |
AT (1) | ATE426218T1 (ja) |
DE (1) | DE602006005785D1 (ja) |
ES (1) | ES2323287T3 (ja) |
WO (1) | WO2006075304A2 (ja) |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8253740B2 (en) * | 2006-02-27 | 2012-08-28 | Koninklijke Philips Electronics N.V. | Method of rendering an output image on basis of an input image and a corresponding depth map |
US9641822B2 (en) | 2008-02-25 | 2017-05-02 | Samsung Electronics Co., Ltd. | Method and apparatus for processing three-dimensional (3D) images |
KR100950046B1 (ko) * | 2008-04-10 | 2010-03-29 | 포항공과대학교 산학협력단 | 무안경식 3차원 입체 tv를 위한 고속 다시점 3차원 입체영상 합성 장치 및 방법 |
US9172940B2 (en) | 2009-02-05 | 2015-10-27 | Bitanimate, Inc. | Two-dimensional video to three-dimensional video conversion based on movement between video frames |
US20110216065A1 (en) * | 2009-12-31 | 2011-09-08 | Industrial Technology Research Institute | Method and System for Rendering Multi-View Image |
TWI387934B (zh) * | 2009-12-31 | 2013-03-01 | Ind Tech Res Inst | 多視角影像之建構方法及系統 |
TW201206151A (en) * | 2010-07-20 | 2012-02-01 | Chunghwa Picture Tubes Ltd | Method and system for generating images of a plurality of views for 3D image reconstruction |
JP5784729B2 (ja) * | 2010-08-27 | 2015-09-24 | サムスン エレクトロニクス カンパニー リミテッド | マルチビュー生成のためのレンダリング装置およびその方法 |
JP2012075001A (ja) * | 2010-09-29 | 2012-04-12 | Fujifilm Corp | 立体視画像表示方法および立体視画像表示装置 |
US8773427B2 (en) * | 2010-12-22 | 2014-07-08 | Sony Corporation | Method and apparatus for multiview image generation using depth map information |
US9401041B2 (en) | 2011-10-26 | 2016-07-26 | The Regents Of The University Of California | Multi view synthesis method and display devices with spatial and inter-view consistency |
KR101282700B1 (ko) * | 2012-03-12 | 2013-07-05 | 한국과학기술원 | 확률적 렌더링에 따른 이미지의 잡음 제거 방법 |
US9031356B2 (en) * | 2012-03-20 | 2015-05-12 | Dolby Laboratories Licensing Corporation | Applying perceptually correct 3D film noise |
JP6071374B2 (ja) | 2012-09-21 | 2017-02-01 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラムならびに画像処理装置を備えた撮像装置 |
KR20140039649A (ko) | 2012-09-24 | 2014-04-02 | 삼성전자주식회사 | 다시점 영상 생성 방법 및 다시점 영상 디스플레이 장치 |
TWI556624B (zh) * | 2014-07-18 | 2016-11-01 | 友達光電股份有限公司 | 影像顯示方法以及影像顯示裝置 |
KR102292923B1 (ko) | 2014-12-15 | 2021-08-24 | 삼성전자주식회사 | 3d 렌더링 방법 및 장치 |
Family Cites Families (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5526446A (en) * | 1991-09-24 | 1996-06-11 | Massachusetts Institute Of Technology | Noise reduction system |
US5371627A (en) | 1992-10-23 | 1994-12-06 | N.E. Thing Enterprises, Inc. | Random dot stereogram and method for making the same |
DE69434657T2 (de) * | 1993-06-04 | 2007-02-15 | Sarnoff Corp. | System und Verfahren zur elektronischen Bildstabilisierung |
US5448322A (en) * | 1993-11-05 | 1995-09-05 | Vision Iii Imaging, Inc. | Autostereoscopic imaging apparatus and method using a parallax scanning lens aperture |
WO1995015063A1 (en) | 1993-11-26 | 1995-06-01 | Dr. Sala And Associates Pty. Ltd. | Image depth improvement system |
US5543965A (en) * | 1994-05-11 | 1996-08-06 | Nvision Grafix, Inc. | Method and apparatus for autostereoscopic lenticular displays utilizing random dot patterns |
US6064424A (en) | 1996-02-23 | 2000-05-16 | U.S. Philips Corporation | Autostereoscopic display apparatus |
JP3443272B2 (ja) | 1996-05-10 | 2003-09-02 | 三洋電機株式会社 | 立体映像表示装置 |
GB9611941D0 (en) | 1996-06-07 | 1996-08-07 | Philips Electronics Nv | Three-dimensional image texture mapping |
EP1009969B1 (en) | 1996-06-13 | 2003-11-05 | K.U. Leuven Research & Development | Method and system for acquiring a three-dimensional shape description |
JP3235776B2 (ja) * | 1996-08-07 | 2001-12-04 | 三洋電機株式会社 | 立体感調整方法および立体感調整装置 |
JP2000253422A (ja) * | 1999-03-03 | 2000-09-14 | Toshiba Corp | 2次元映像からの立体映像生成方法 |
JP4560869B2 (ja) * | 2000-02-07 | 2010-10-13 | ソニー株式会社 | メガネなし表示システムおよびバックライトシステム |
JP2001359119A (ja) * | 2000-06-15 | 2001-12-26 | Toshiba Corp | 立体映像生成方法 |
JP2002123842A (ja) * | 2000-10-13 | 2002-04-26 | Takumi:Kk | 立体視画像生成装置および情報記憶媒体 |
US6965379B2 (en) | 2001-05-08 | 2005-11-15 | Koninklijke Philips Electronics N.V. | N-view synthesis from monocular video of certain broadcast and stored mass media content |
AU2003201136A1 (en) * | 2002-02-06 | 2003-09-02 | Koninklijke Philips Electronics N.V. | Unit for and method of segmentation |
KR100960294B1 (ko) * | 2002-10-23 | 2010-06-07 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 디지털 비디오 신호를 후-처리하기 위한 방법 및 컴퓨터 프로그램을 기록한 컴퓨터로 판독 가능한 기록매체 |
US7103212B2 (en) | 2002-11-22 | 2006-09-05 | Strider Labs, Inc. | Acquisition of three-dimensional images by an active stereo technique using locally unique patterns |
EP1587329B1 (en) * | 2003-01-20 | 2015-04-15 | Sanyo Electric Co., Ltd. | Three-dimensional video providing method and three-dimensional video display device |
JP2005080301A (ja) * | 2003-09-01 | 2005-03-24 | Matsushita Electric Ind Co Ltd | 動画像符号化方法および動画像復号化方法 |
AU2004306091B2 (en) * | 2003-09-23 | 2010-08-12 | Interdigital Vc Holdings, Inc. | Technique for simulating film grain using frequency filtering |
US8238613B2 (en) * | 2003-10-14 | 2012-08-07 | Thomson Licensing | Technique for bit-accurate film grain simulation |
-
2006
- 2006-01-12 ES ES06710664T patent/ES2323287T3/es active Active
- 2006-01-12 EP EP06710664A patent/EP1839267B1/en not_active Not-in-force
- 2006-01-12 AT AT06710664T patent/ATE426218T1/de not_active IP Right Cessation
- 2006-01-12 US US11/813,110 patent/US8270768B2/en not_active Expired - Fee Related
- 2006-01-12 DE DE602006005785T patent/DE602006005785D1/de active Active
- 2006-01-12 CN CNB2006800022610A patent/CN100565589C/zh not_active Expired - Fee Related
- 2006-01-12 KR KR1020077018461A patent/KR101249236B1/ko not_active IP Right Cessation
- 2006-01-12 WO PCT/IB2006/050114 patent/WO2006075304A2/en active Application Filing
- 2006-01-12 JP JP2007550909A patent/JP5058820B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
CN100565589C (zh) | 2009-12-02 |
EP1839267A2 (en) | 2007-10-03 |
CN101103380A (zh) | 2008-01-09 |
US8270768B2 (en) | 2012-09-18 |
KR20070105994A (ko) | 2007-10-31 |
WO2006075304A3 (en) | 2006-11-09 |
ATE426218T1 (de) | 2009-04-15 |
US20090003728A1 (en) | 2009-01-01 |
DE602006005785D1 (de) | 2009-04-30 |
WO2006075304A2 (en) | 2006-07-20 |
ES2323287T3 (es) | 2009-07-10 |
EP1839267B1 (en) | 2009-03-18 |
JP2008527561A (ja) | 2008-07-24 |
KR101249236B1 (ko) | 2013-04-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5058820B2 (ja) | 奥行きの知覚 | |
JP4762994B2 (ja) | 視差マップ | |
JP5011316B2 (ja) | 出力画像のレンダリング | |
JP5406269B2 (ja) | 奥行き検知装置及び方法 | |
JP5150255B2 (ja) | ビューモードの検出 | |
KR101038452B1 (ko) | 멀티뷰 이미지 생성 | |
Vázquez et al. | Stereoscopic imaging: filling disoccluded areas in depth image-based rendering | |
US20020191841A1 (en) | Image processing method and apparatus | |
JP2009516864A (ja) | マルチビューディスプレイ装置のためのビューの描画 | |
Lin et al. | A stereoscopic video conversion scheme based on spatio-temporal analysis of MPEG videos | |
Zilly et al. | Generic content creation for 3D displays | |
JP7344886B2 (ja) | 3dディスプレイのためのオーバースキャン | |
Zinger et al. | iGLANCE project: free-viewpoint 3D video | |
Chen et al. | Low-complexity 2D to 3D video conversion | |
Tam et al. | Depth map generation for 3-D TV: importance of edge and boundary information | |
Vazquez et al. | 2D‐to‐3D Video Conversion: Overview and Perspectives | |
Didier et al. | Use of a Dense Disparity Map to Enhance Quality of Experience Watching Stereoscopic 3D Content at Home on a Large TV Screen | |
Solh | Depth-based 3D videos: Quality measurement and synthesized view enhancement |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090109 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110421 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20110428 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110519 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20110809 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20110816 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111031 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120705 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120801 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150810 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |