JP5977752B2 - 映像変換装置およびそれを利用するディスプレイ装置とその方法 - Google Patents
映像変換装置およびそれを利用するディスプレイ装置とその方法 Download PDFInfo
- Publication number
- JP5977752B2 JP5977752B2 JP2013538621A JP2013538621A JP5977752B2 JP 5977752 B2 JP5977752 B2 JP 5977752B2 JP 2013538621 A JP2013538621 A JP 2013538621A JP 2013538621 A JP2013538621 A JP 2013538621A JP 5977752 B2 JP5977752 B2 JP 5977752B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- depth map
- image
- stereo
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/139—Format conversion, e.g. of frame-rate or size
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Controls And Circuits For Display Device (AREA)
Description
数式(1)で、SUM()は、ウィンドウ内の各ピクセルに対する計算の結果の合算を意味する関数であり、L_imageおよびR_imageは、各々左眼映像のピクセル値および右眼映像のピクセル値を意味し、W1およびW2は、各々当該ピクセルに対して決定された加重値を意味する。探索部133は、数式1のような方式で、左眼映像の各ウィンドウに対して、右眼映像の全ウィンドウを比較し、左眼映像と右眼映像の間で互いにマッチングされるウィンドウを探索することができる。
Claims (12)
- 映像変換装置の映像変換方法において、
ステレオ映像をダウンスケーリングするステップと、
前記ダウンスケーリングされたステレオ映像に対して、適応的な加重値を適用してステレオマッチングを行うステップと、
前記ステレオマッチングに応じて、デプスマップを生成するステップと、
原解像度状態の入力映像を参照し、前記デプスマップをアップスケーリングするステップと、
前記アップスケーリングされたデプスマップと前記原解像度状態の入力映像に対してデプス−映像基盤のレンダリングを行い、複数個の多時点映像を生成するステップと
を含み、
前記ステレオマッチングを行うステップは、
前記ステレオ映像の一つである第1入力映像および第2入力映像の各々に対して、予め設定された大きさのウィンドウを順次に適用するステップと、
前記各ウィンドウ内の中心ピクセルおよび周辺ピクセルの間の類似性を計算するステップと、
前記計算された前記中心ピクセルとの類似性に比例して増加する適応的な加重値を適用し、前記第1入力映像および前記第2入力映像の間のマッチングされるポイントを探索するステップと
を更に含む映像変換方法。 - 前記デプスマップは、
前記マッチングされるポイント間の距離差に応じて異なるグレイレベルを有するイメージであることを特徴とする請求項1に記載の映像変換方法。 - 前記グレイレベルは、前記マッチングされるポイント間の距離差に反比例する値に設定されることを特徴とする請求項2に記載の映像変換方法。
- 前記デプスマップをアップスケーリングするステップは、
前記デプスマップと前記原解像度状態の入力映像の間の類似点を探索するステップと、
前記探索された類似点に対して前記適応的な加重値を適用して、前記デプスマップに対してアップスケーリングを行うステップと
を含むことを特徴とする請求項1に記載の映像変換方法。 - 前記複数個の多時点映像は、非メガネ3Dディスプレイシステムから出力され、3D画面を構成するステップを更に含むことを特徴とする請求項1に記載の映像変換方法。
- 映像変換装置において、
ステレオ映像をダウンスケーリングするダウンスケーラ部と、
前記ダウンスケーリングされたステレオ映像に対して適応的な加重値を適用してステレオマッチングを行い、前記ステレオマッチングに応じて、デプスマップを生成するステレオマッチング部と、
原解像度状態の入力映像を参照し、前記デプスマップをアップスケーリングするアップスケーラ部と、
前記アップスケーリングされたデプスマップと前記原解像度状態の入力映像に対してデプス−映像基盤のレンダリングを行い、複数個の多時点映像を生成するレンダリング部と
を含み、
前記ステレオマッチング部は、
前記ステレオ映像の一つである第1入力映像および第2入力映像の各々に対して、予め設定された大きさのウィンドウを順次に適用するウィンドウ生成部と、
前記第1入力映像および前記第2入力映像の各々のウィンドウ内の中心ピクセルおよび周辺ピクセルの間の類似性を計算する類似性計算部と、
前記計算された前記中心ピクセルとの類似性に比例して増加する加重値を適用し、前記第1入力映像および前記第2入力映像の間のマッチングされるポイントを探索する探索部と、
前記探索されたマッチングポイント間の移動距離を用いて、デプスマップを生成するデプスマップ生成部と
を含む映像変換装置。 - 前記デプスマップは、
前記マッチングされるポイント間の距離差に応じて異なるグレイレベルを有するイメージであることを特徴とする請求項6に記載の映像変換装置。 - 前記グレイレベルは、前記マッチングされるポイント間の距離差に反比例する値に設定されることを特徴とする請求項7に記載の映像変換装置。
- 前記アップスケーラ部は、
前記デプスマップと前記原解像度状態の入力映像の間の類似点を探索し、前記探索された類似点に対して前記適応的な加重値を適用してアップスケーリングを行うことを特徴とする請求項6に記載の映像変換装置。 - 前記複数個の多時点映像を非メガネ3Dディスプレイシステムから出力するインターフェース部を更に含むことを特徴とする請求項6に記載の映像変換装置。
- 前記ステレオ映像を受信する受信部を更に含むことを特徴とする請求項6に記載の映像変換装置。
- ディスプレイ装置において、
ステレオ映像を受信する受信部と、
前記ステレオ映像をダウンスケーリングした後、適応的な加重値を適用してステレオマッチングを行い、前記ステレオマッチングに応じて、デプスマップを算出し、前記算出されたデプスマップおよび原解像度映像の入力映像を参照して前記デプスマップをアップスケーリングし、前記アップスケーリングされたデプスマップと原解像度状態の入力映像に対してデプス−映像基盤のレンダリングを行い、複数個の多時点映像を生成する映像変換処理部と、
前記映像変換処理部から生成された多時点映像を出力するディスプレイ部と
を含み、
前記映像変換処理部は、
前記ステレオ映像の一つである第1入力映像および第2入力映像の各々に対して、予め設定された大きさのウィンドウを順次に適用するウィンドウ生成部と、
前記第1入力映像および前記第2入力映像の各々のウィンドウ内の中心ピクセルおよび周辺ピクセルの間の類似性を計算する類似性計算部と、
前記計算された前記中心ピクセルとの類似性に比例して増加する加重値を適用し、前記第1入力映像および前記第2入力映像の間のマッチングされるポイントを探索する探索部と、
前記探索されたマッチングポイント間の移動距離を用いて、デプスマップを生成するデプスマップ生成部と
を含むディスプレイ装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR10-2010-0111278 | 2010-11-10 | ||
KR1020100111278A KR20120049997A (ko) | 2010-11-10 | 2010-11-10 | 영상 변환 장치 및 이를 이용하는 디스플레이 장치와 그 방법들 |
PCT/KR2011/005795 WO2012064010A1 (en) | 2010-11-10 | 2011-08-09 | Image conversion apparatus and display apparatus and methods using the same |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014504462A JP2014504462A (ja) | 2014-02-20 |
JP5977752B2 true JP5977752B2 (ja) | 2016-08-24 |
Family
ID=46019253
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013538621A Expired - Fee Related JP5977752B2 (ja) | 2010-11-10 | 2011-08-09 | 映像変換装置およびそれを利用するディスプレイ装置とその方法 |
Country Status (8)
Country | Link |
---|---|
US (1) | US20120113219A1 (ja) |
EP (1) | EP2638699A4 (ja) |
JP (1) | JP5977752B2 (ja) |
KR (1) | KR20120049997A (ja) |
CN (1) | CN103202026B (ja) |
BR (1) | BR112013008803A2 (ja) |
MX (1) | MX2013005340A (ja) |
WO (1) | WO2012064010A1 (ja) |
Families Citing this family (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102010009737A1 (de) * | 2010-03-01 | 2011-09-01 | Institut für Rundfunktechnik GmbH | Verfahren und Anordnung zur Wiedergabe von 3D-Bildinhalten |
US9483836B2 (en) | 2011-02-28 | 2016-11-01 | Sony Corporation | Method and apparatus for real-time conversion of 2-dimensional content to 3-dimensional content |
US9525858B2 (en) * | 2011-07-06 | 2016-12-20 | Telefonaktiebolaget Lm Ericsson (Publ) | Depth or disparity map upscaling |
JP2013201557A (ja) * | 2012-03-23 | 2013-10-03 | Toshiba Corp | 画像処理装置、画像処理方法および画像処理システム |
US8792710B2 (en) * | 2012-07-24 | 2014-07-29 | Intel Corporation | Stereoscopic depth reconstruction with probabilistic pixel correspondence search |
FR2994307B1 (fr) * | 2012-08-06 | 2015-06-05 | Commissariat Energie Atomique | Procede et dispositif pour la reconstruction d'images a super-resolution |
CN103778598B (zh) * | 2012-10-17 | 2016-08-03 | 株式会社理光 | 视差图改善方法和装置 |
WO2014141653A1 (ja) * | 2013-03-11 | 2014-09-18 | パナソニック株式会社 | 画像生成装置、撮像装置および画像生成方法 |
KR20140115854A (ko) | 2013-03-22 | 2014-10-01 | 삼성디스플레이 주식회사 | 입체 영상 표시 장치 및 입체 영상 표시 방법 |
JP5858254B2 (ja) * | 2013-06-06 | 2016-02-10 | ソニー株式会社 | 2次元コンテンツの3次元コンテンツへのリアルタイム変換の方法及び装置 |
JP6285686B2 (ja) * | 2013-06-12 | 2018-02-28 | 日本放送協会 | 視差画像生成装置 |
US9390508B2 (en) * | 2014-03-03 | 2016-07-12 | Nokia Technologies Oy | Method, apparatus and computer program product for disparity map estimation of stereo images |
US9407896B2 (en) | 2014-03-24 | 2016-08-02 | Hong Kong Applied Science and Technology Research Institute Company, Limited | Multi-view synthesis in real-time with fallback to 2D from 3D to reduce flicker in low or unstable stereo-matching image regions |
JP6589313B2 (ja) * | 2014-04-11 | 2019-10-16 | 株式会社リコー | 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム |
US9195904B1 (en) * | 2014-05-08 | 2015-11-24 | Mitsubishi Electric Research Laboratories, Inc. | Method for detecting objects in stereo images |
TWI528783B (zh) * | 2014-07-21 | 2016-04-01 | 由田新技股份有限公司 | 產生深度影像之方法及其系統及電腦程式產品 |
KR102315280B1 (ko) * | 2014-09-01 | 2021-10-20 | 삼성전자 주식회사 | 렌더링 장치 및 방법 |
KR102374160B1 (ko) | 2014-11-14 | 2022-03-14 | 삼성디스플레이 주식회사 | 스케일링을 사용하여 디스플레이 지연을 감소시키는 방법 및 장치 |
CN105070270B (zh) * | 2015-09-14 | 2017-10-17 | 深圳市华星光电技术有限公司 | Rgbw面板子像素的补偿方法及装置 |
CN106981079A (zh) * | 2016-10-26 | 2017-07-25 | 李应樵 | 一种基于权重自适应立体深度调整的方法 |
US10403032B2 (en) * | 2017-08-22 | 2019-09-03 | Qualcomm Incorporated | Rendering an image from computer graphics using two rendering computing devices |
US11763433B2 (en) * | 2019-11-14 | 2023-09-19 | Samsung Electronics Co., Ltd. | Depth image generation method and device |
US11450018B1 (en) * | 2019-12-24 | 2022-09-20 | X Development Llc | Fusing multiple depth sensing modalities |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4209647B2 (ja) * | 2002-09-04 | 2009-01-14 | 富士重工業株式会社 | 画像処理装置および画像処理方法 |
IL155525A0 (en) * | 2003-04-21 | 2009-02-11 | Yaron Mayer | System and method for 3d photography and/or analysis of 3d images and/or display of 3d images |
JP4574983B2 (ja) * | 2003-11-04 | 2010-11-04 | オリンパス株式会社 | 画像表示装置、画像表示方法、及び画像表示プログラム |
JP4069855B2 (ja) * | 2003-11-27 | 2008-04-02 | ソニー株式会社 | 画像処理装置及び方法 |
KR100513055B1 (ko) * | 2003-12-11 | 2005-09-06 | 한국전자통신연구원 | 변이지도 및 깊이지도의 융합을 통한 3차원 장면 모델생성 장치 및 그 방법 |
KR100716982B1 (ko) * | 2004-07-15 | 2007-05-10 | 삼성전자주식회사 | 다차원 영상 포맷의 변환장치 및 방법 |
US7697749B2 (en) * | 2004-08-09 | 2010-04-13 | Fuji Jukogyo Kabushiki Kaisha | Stereo image processing device |
GB2417628A (en) * | 2004-08-26 | 2006-03-01 | Sharp Kk | Creating a new image from two images of a scene |
CN1756317A (zh) * | 2004-10-01 | 2006-04-05 | 三星电子株式会社 | 变换多维视频格式的设备和方法 |
JP2008039491A (ja) * | 2006-08-02 | 2008-02-21 | Fuji Heavy Ind Ltd | ステレオ画像処理装置 |
KR101484487B1 (ko) * | 2007-10-11 | 2015-01-28 | 코닌클리케 필립스 엔.브이. | 깊이-맵을 프로세싱하는 방법 및 디바이스 |
US8149210B2 (en) * | 2007-12-31 | 2012-04-03 | Microsoft International Holdings B.V. | Pointing device and method |
KR101497503B1 (ko) * | 2008-09-25 | 2015-03-04 | 삼성전자주식회사 | 2차원 영상의 3차원 영상 변환을 위한 깊이 맵 생성 방법 및 장치 |
KR101506926B1 (ko) * | 2008-12-04 | 2015-03-30 | 삼성전자주식회사 | 깊이 추정 장치 및 방법, 및 3d 영상 변환 장치 및 방법 |
CN101605271B (zh) * | 2009-07-08 | 2010-10-13 | 无锡景象数字技术有限公司 | 一种基于单幅图像的2d转3d方法 |
-
2010
- 2010-11-10 KR KR1020100111278A patent/KR20120049997A/ko not_active Application Discontinuation
-
2011
- 2011-08-09 CN CN201180054239.1A patent/CN103202026B/zh not_active Expired - Fee Related
- 2011-08-09 MX MX2013005340A patent/MX2013005340A/es active IP Right Grant
- 2011-08-09 JP JP2013538621A patent/JP5977752B2/ja not_active Expired - Fee Related
- 2011-08-09 WO PCT/KR2011/005795 patent/WO2012064010A1/en active Application Filing
- 2011-08-09 EP EP11840453.2A patent/EP2638699A4/en not_active Withdrawn
- 2011-08-09 BR BR112013008803A patent/BR112013008803A2/pt not_active IP Right Cessation
- 2011-09-24 US US13/244,327 patent/US20120113219A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
JP2014504462A (ja) | 2014-02-20 |
WO2012064010A1 (en) | 2012-05-18 |
KR20120049997A (ko) | 2012-05-18 |
BR112013008803A2 (pt) | 2016-06-28 |
WO2012064010A4 (en) | 2012-07-12 |
CN103202026A (zh) | 2013-07-10 |
US20120113219A1 (en) | 2012-05-10 |
CN103202026B (zh) | 2016-02-03 |
EP2638699A1 (en) | 2013-09-18 |
MX2013005340A (es) | 2013-07-03 |
EP2638699A4 (en) | 2015-12-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5977752B2 (ja) | 映像変換装置およびそれを利用するディスプレイ装置とその方法 | |
US9525858B2 (en) | Depth or disparity map upscaling | |
JP6094863B2 (ja) | 画像処理装置、画像処理方法、プログラム、集積回路 | |
JP6027034B2 (ja) | 立体映像エラー改善方法及び装置 | |
US20110025830A1 (en) | Methods, systems, and computer-readable storage media for generating stereoscopic content via depth map creation | |
WO2012086120A1 (ja) | 画像処理装置、撮像装置、画像処理方法、プログラム | |
US20130051659A1 (en) | Stereoscopic image processing device and stereoscopic image processing method | |
JP2013527646A5 (ja) | ||
WO2012101719A1 (ja) | 3次元画像撮影装置及び3次元画像撮影方法 | |
US8406524B2 (en) | Apparatus, method, and medium of generating visual attention map | |
JP5450330B2 (ja) | 画像処理装置および方法、ならびに立体画像表示装置 | |
JPWO2012056686A1 (ja) | 3次元画像補間装置、3次元撮像装置および3次元画像補間方法 | |
WO2011014421A2 (en) | Methods, systems, and computer-readable storage media for generating stereoscopic content via depth map creation | |
JP5755571B2 (ja) | 仮想視点画像生成装置、仮想視点画像生成方法、制御プログラム、記録媒体、および立体表示装置 | |
JP6128748B2 (ja) | 画像処理装置及び方法 | |
WO2024056020A1 (zh) | 一种双目图像的生成方法、装置、电子设备及存储介质 | |
JP4806088B1 (ja) | 画像変換装置、画像変換装置の制御方法、画像変換装置制御プログラムおよび記録媒体 | |
US9838672B2 (en) | Apparatus and method for referring to motion status of image capture device to generate stereo image pair to auto-stereoscopic display for stereo preview | |
JP6025740B2 (ja) | エネルギー値を用いたイメージ処理装置およびそのイメージ処理方法、並びにディスプレイ方法 | |
US20130050420A1 (en) | Method and apparatus for performing image processing according to disparity information | |
Liu et al. | Deinterlacing of depth-image-based three-dimensional video for a depth-image-based rendering system | |
KR102276628B1 (ko) | 영상변환장치 및 이를 구비하는 디스플레이 장치 | |
Alfaqheri et al. | Low-delay single holoscopic 3D computer-generated image to multiview images | |
Sun | Deep Learning-Based Optimization of Light Field Processing | |
EP4107694A1 (en) | Method and device for processing image content |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140807 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150917 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20151027 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160127 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160705 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160722 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5977752 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |