RU2014118585A - Обработка карты глубины - Google Patents

Обработка карты глубины Download PDF

Info

Publication number
RU2014118585A
RU2014118585A RU2014118585/08A RU2014118585A RU2014118585A RU 2014118585 A RU2014118585 A RU 2014118585A RU 2014118585/08 A RU2014118585/08 A RU 2014118585/08A RU 2014118585 A RU2014118585 A RU 2014118585A RU 2014118585 A RU2014118585 A RU 2014118585A
Authority
RU
Russia
Prior art keywords
depth
difference
map
depth map
values
Prior art date
Application number
RU2014118585/08A
Other languages
English (en)
Inventor
Вильгельмус Хендрикус Альфонсус БРЮЛЬС
Original Assignee
Конинклейке Филипс Н.В.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Конинклейке Филипс Н.В. filed Critical Конинклейке Филипс Н.В.
Publication of RU2014118585A publication Critical patent/RU2014118585A/ru

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Processing (AREA)

Abstract

1. Способ обработки трехмерного (3D) видеосигнала, причем способ содержит этапы, на которых:получают (21) из 3D видеосигнала первую карту (Z1) глубины, которая содержит первые значения глубины и 2D изображение, содержащее значения изображения, соответствующие первой карте глубины,генерируют вторую карту (Z2) глубины, имеющую значения второй глубины, из 3D видеосигнала и/или первой карты глубины многомерным фильтром (22), который является причиной того, что вторая карта глубины имеет артефакты заливки, тогда как первая карта глубины, в соответствующих местоположениях, имеет меньше или не имеет таких артефактов,определяют разность глубины между первой картой глубины и второй картой глубины, причем положительное значение разности глубины указывает, что глубина во второй карте глубины находится ближе к наблюдателю, игенерируют (23) третью карту глубины, комбинируя первые значения глубины и вторые значения глубины согласно функции комбинирования в зависимости разности глубины,причем функция комбинирования отдает предпочтение первым значениям глубины там, где разность глубины положительна.2. Способ по п. 1, в котором функция комбинирования содержит вывод первых значений глубины, где разность глубины положительна, и вторых значений глубины, где разность глубины отрицательна.3. Способ по п. 1, в котором функция комбинирования содержит вывод смеси большей части первого значения глубины и меньшей части второго значения глубины, где разность глубины положительна, и второго значения глубины, где разность глубины отрицательна.4. Способ по п. 3, в которой меньшая часть равна 25% или менее.5. Способ по п. 1, в котором функция комбинирован

Claims (15)

1. Способ обработки трехмерного (3D) видеосигнала, причем способ содержит этапы, на которых:
получают (21) из 3D видеосигнала первую карту (Z1) глубины, которая содержит первые значения глубины и 2D изображение, содержащее значения изображения, соответствующие первой карте глубины,
генерируют вторую карту (Z2) глубины, имеющую значения второй глубины, из 3D видеосигнала и/или первой карты глубины многомерным фильтром (22), который является причиной того, что вторая карта глубины имеет артефакты заливки, тогда как первая карта глубины, в соответствующих местоположениях, имеет меньше или не имеет таких артефактов,
определяют разность глубины между первой картой глубины и второй картой глубины, причем положительное значение разности глубины указывает, что глубина во второй карте глубины находится ближе к наблюдателю, и
генерируют (23) третью карту глубины, комбинируя первые значения глубины и вторые значения глубины согласно функции комбинирования в зависимости разности глубины,
причем функция комбинирования отдает предпочтение первым значениям глубины там, где разность глубины положительна.
2. Способ по п. 1, в котором функция комбинирования содержит вывод первых значений глубины, где разность глубины положительна, и вторых значений глубины, где разность глубины отрицательна.
3. Способ по п. 1, в котором функция комбинирования содержит вывод смеси большей части первого значения глубины и меньшей части второго значения глубины, где разность глубины положительна, и второго значения глубины, где разность глубины отрицательна.
4. Способ по п. 3, в которой меньшая часть равна 25% или менее.
5. Способ по п. 1, в котором функция комбинирования содержит вывод второго значения глубины, где абсолютное значение разности глубины ниже заданного предела.
6. Способ по п. 1, в котором фильтрация содержит билатеральный фильтр или кросс-билатеральный фильтр, или сетчатый билатеральный фильтр, или сетчатый кросс-билатеральный фильтр.
7. Способ по п. 1, в котором способ содержит, по меньшей мере, один дополнительный каскадный этап обработки, причем каскадный этап обработки содержит:
вычитание (26) третьей карты (Za) глубины из первой карты (Z1) глубины, чтобы генерировать первую разностную карту (Zb) глубины,
стабилизацию (27) первой разностной карты глубины, чтобы генерировать стабилизированную разностную карту (Zc) глубины, причем стабилизация содержит:
генерацию второй разностной карты глубины, имеющей третьи значения глубины, из 3D видеосигнала и/или первой разностной карты глубины с помощью многомерного фильтра (22), что приводит к тому, что вторая разностная карта глубины имеет артефакты заливки, в то время как первая разностная карта глубины, в соответствующих местоположениях, имеет меньше или не имеет таких артефактов,
определение второй разности глубины между первой разностной картой глубины и второй разностной картой глубины, причем положительное значение второй разности глубины указывает, что глубина во второй разностной карте глубины ближе к наблюдателю, и
генерацию (23) стабилизированной разностной карты (Zc) глубины путем комбинирования первых значений разности глубины и вторых значений разности глубины согласно функции комбинирования в зависимости от второй разности глубины, причем функция комбинирования отдает предпочтение первым значениям разности глубины, где вторая разность глубины положительна, и
генерируют четвертую карту (Zd) глубины посредством суммирования (28) стабилизированной разностной карты (Zc) глубины и третьей карты (Za) глубины.
8. Способ по п. 1, причем способ содержит:
прием стерео 3D видеосигнала, содержащего левые кадры (L) представления и правые кадры (R) представления, и получение первой карты глубины, основанной на обработке кадров L и R; или
прием 3D видеосигнала и получение первой карты глубин дополнительным многомерным фильтром.
9. 3D видео устройство (40, 50) для обработки трехмерного (3D) видеосигнала, причем устройство содержит:
средство ввода (47, 51, 58, 59, 61, 71) для приема 3D видеосигнала и получения, из 3D видеосигнала, первой карты (Z1) глубины и 2D изображения, соответствующего первой карте глубины, где первая карта глубины содержит первые значения глубины, и 2D изображение содержит значения изображения, и
видеопроцессор (42, 52, 53), выполненный с возможностью
генерации второй карты (Z2) глубины, имеющей вторые значения глубины, из 3D видеосигнала и/или первой карты глубины многомерным фильтром (22), который во второй карте глубины вызывает артефакты заливки, тогда как первая карта глубины, в соответствующих местоположениях, имеет меньше или не имеет таких артефактов,
определения разности глубины между первой картой глубины и второй картой глубины, причем положительное значение разности глубины указывает глубину во второй карте глубины, находящуюся ближе к наблюдателю, и
генерации (23) третьей карты глубины, комбинируя первые значения глубины и вторые значения глубины согласно функции комбинирования в зависимости от разности глубины, причем функция комбинирования отдает предпочтение первым значениям глубины, где разность глубины положительна.
10. Устройство по п. 9, в котором функция комбинирования содержит вывод первого значения глубины, где разность глубины положительна, и второго значения глубины, где разность глубины отрицательна.
11. Устройство по п. 9, в котором функция комбинирования содержит вывод смеси большей части первого значения глубины и меньшей части второго значения глубины, где разность глубины положительна, и второго значения глубины, где разность глубины отрицательна.
12. Устройство по п. 9, в котором фильтрация содержит билатеральный фильтр или кросс-билатеральный фильтр, или сетчатый билатеральный фильтр, или сетчатый кросс-билатеральный фильтр.
13. Устройство по п. 9, в котором средство ввода содержит генератор (21) для
получения лево-правого видеосигнала, содержащего по меньшей мере левое представление и правое представление, которые должны отображаться для соответствующих глаз наблюдателя для генерации 3D эффекта, и
генерирования первой карты глубины посредством оценивания различия левого представления и правого представления, и
предоставления 2D изображения, основанного на левом представлении и/или правом представлении.
14. Компьютерная программа, содержащая код компьютерной программы, побуждающей процессор выполнять соответствующие этапы способа согласно любому из пп. 1-8, когда компьютерная программа выполняется на компьютере.
15. Машиночитаемый носитель, содержащий программу по п. 14.
RU2014118585/08A 2011-10-10 2012-10-05 Обработка карты глубины RU2014118585A (ru)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201161545219P 2011-10-10 2011-10-10
US61/545,219 2011-10-10
PCT/IB2012/055364 WO2013054240A1 (en) 2011-10-10 2012-10-05 Depth map processing

Publications (1)

Publication Number Publication Date
RU2014118585A true RU2014118585A (ru) 2015-11-20

Family

ID=47351874

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2014118585/08A RU2014118585A (ru) 2011-10-10 2012-10-05 Обработка карты глубины

Country Status (8)

Country Link
US (1) US20140285623A1 (ru)
EP (1) EP2745269B1 (ru)
JP (1) JP2015503253A (ru)
CN (1) CN104185857A (ru)
BR (1) BR112014008270A2 (ru)
IN (1) IN2014CN02296A (ru)
RU (1) RU2014118585A (ru)
WO (1) WO2013054240A1 (ru)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103828359B (zh) 2011-09-29 2016-06-22 杜比实验室特许公司 用于产生场景的视图的方法、编码系统以及解码系统
TW201432622A (zh) * 2012-11-07 2014-08-16 Koninkl Philips Nv 產生一關於一影像之深度圖
US9866813B2 (en) 2013-07-05 2018-01-09 Dolby Laboratories Licensing Corporation Autostereo tapestry representation
WO2015011599A1 (en) * 2013-07-24 2015-01-29 Koninklijke Philips N.V. Method for aligning spatially different subvolumes of ultrasonic data of a blood vessel
US9344619B2 (en) * 2013-08-30 2016-05-17 Qualcomm Incorporated Method and apparatus for generating an all-in-focus image
US9967538B2 (en) 2013-11-04 2018-05-08 Massachussetts Institute Of Technology Reducing view transitions artifacts in automultiscopic displays
US9756316B2 (en) * 2013-11-04 2017-09-05 Massachusetts Institute Of Technology Joint view expansion and filtering for automultiscopic 3D displays
US9390508B2 (en) * 2014-03-03 2016-07-12 Nokia Technologies Oy Method, apparatus and computer program product for disparity map estimation of stereo images
US9292926B1 (en) 2014-11-24 2016-03-22 Adobe Systems Incorporated Depth map generation
JP6576083B2 (ja) * 2015-04-15 2019-09-18 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
KR102114969B1 (ko) * 2015-06-08 2020-06-08 삼성전자주식회사 광학 장치 및 깊이 정보 생성 방법
BR112017026903A2 (pt) * 2015-06-16 2019-05-07 Koninklijke Philips N.V. aparelho para gerar um mapa de profundidade, método para gerar um mapa de profundidade e produto de programa de computador
CN105007495B (zh) * 2015-08-20 2018-07-20 上海玮舟微电子科技有限公司 一种基于多层3drs的差异估计方法及装置
TWI608447B (zh) * 2015-09-25 2017-12-11 台達電子工業股份有限公司 立體影像深度圖產生裝置及方法
JP6934887B2 (ja) * 2015-12-31 2021-09-15 エムエル ネザーランズ セー．フェー． 単眼カメラを用いたリアルタイム３ｄ捕捉およびライブフィードバックのための方法およびシステム
US20170289515A1 (en) * 2016-04-01 2017-10-05 Intel Corporation High dynamic range depth generation for 3d imaging systems
CN109154499A (zh) * 2016-08-18 2019-01-04 深圳市大疆创新科技有限公司 用于增强立体显示的系统和方法
CN108009462B (zh) * 2016-10-31 2021-07-30 中南大学 一种应用于轨检仪基本弦轨向数据的滤波方法
CN106709432B (zh) * 2016-12-06 2020-09-11 成都通甲优博科技有限责任公司 基于双目立体视觉的人头检测计数方法
US10419771B2 (en) * 2017-02-08 2019-09-17 Zpeg, Inc. Method and system for improved image compression
US10445861B2 (en) * 2017-02-14 2019-10-15 Qualcomm Incorporated Refinement of structured light depth maps using RGB color data
TWI672677B (zh) 2017-03-31 2019-09-21 鈺立微電子股份有限公司 用以融合多深度圖的深度圖產生裝置
JP7214368B2 (ja) * 2018-05-31 2023-01-30 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、プログラムおよび記録媒体
CN108986156B (zh) * 2018-06-07 2021-05-14 成都通甲优博科技有限责任公司 深度图处理方法及装置
WO2020068383A1 (en) * 2018-09-27 2020-04-02 Snap Inc. Three dimensional scene inpainting using stereo extraction
CN111091592B (zh) * 2018-10-24 2023-08-15 Oppo广东移动通信有限公司 图像处理方法、图像处理装置、电子设备及可读存储介质
US10949684B2 (en) 2019-05-08 2021-03-16 Ford Global Technologies, Llc Vehicle image verification
US11138452B2 (en) 2019-10-08 2021-10-05 Ford Global Technologies, Llc Vehicle neural network training
JP2022096096A (ja) * 2020-12-17 2022-06-29 株式会社ティーアンドエス 映像配信方法及びそのためのプログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007020570A2 (en) * 2005-08-17 2007-02-22 Nxp B.V. Video processing method and device for depth extraction
WO2007052191A2 (en) * 2005-11-02 2007-05-10 Koninklijke Philips Electronics N.V. Filling in depth results
CN101822067B (zh) * 2007-07-26 2013-04-24 皇家飞利浦电子股份有限公司 深度相关信息传播方法和设备
JP5156837B2 (ja) * 2007-11-09 2013-03-06 トムソン ライセンシング 領域ベースのフィルタリングを使用する奥行マップ抽出のためのシステムおよび方法
CN101398933B (zh) * 2008-10-17 2010-09-15 北京大学 一种从图像中恢复三维几何信息的方法
EP2184713A1 (en) * 2008-11-04 2010-05-12 Koninklijke Philips Electronics N.V. Method and device for generating a depth map
KR101547151B1 (ko) * 2008-12-26 2015-08-25 삼성전자주식회사 영상 처리 방법 및 장치
EP2293586A1 (en) * 2009-08-04 2011-03-09 Samsung Electronics Co., Ltd. Method and system to transform stereo content
US8817073B2 (en) * 2011-08-12 2014-08-26 Himax Technologies Limited System and method of processing 3D stereoscopic image

Also Published As

Publication number Publication date
BR112014008270A2 (pt) 2017-04-18
EP2745269A1 (en) 2014-06-25
JP2015503253A (ja) 2015-01-29
CN104185857A (zh) 2014-12-03
IN2014CN02296A (en) 2015-06-19
US20140285623A1 (en) 2014-09-25
WO2013054240A1 (en) 2013-04-18
EP2745269B1 (en) 2015-03-11

Similar Documents

Publication Publication Date Title
RU2014118585A (ru) Обработка карты глубины
MX2009009871A (es) Sistema y metodo para combinar texto con un contenido tri-dimensional.
US20120293615A1 (en) Real-time depth-aware image enhancement system
GB2507830A8 (en) System and Method of Image Augmentation
JP2013516892A5 (ru)
WO2012021265A8 (en) 2d to 3d user interface content data conversion
BR112012008988A2 (pt) Método e dispositivos para processamento de mapa de profundidade
RU2010134940A (ru) Устройство обработки изображений, способ обработки изображений и программа
EP2493202A3 (en) Display control program, display control apparatus, display control system, and display control method
JP2005151534A5 (ru)
EP2551827A3 (en) Presenting three dimensional depth
JP2015516627A (ja) 画像強調
RU2013121611A (ru) Устройство отображения трехмерного изображения и способ отображения для такового
KR20140043264A (ko) 다시점 영상 처리 장치 및 방법
JP2014507078A5 (ru)
RU2013129984A (ru) Передача данных 3d-изображения
Winkler Efficient measurement of stereoscopic 3D video content issues
GB2507844A (en) Generating and reconstructing a stereoscopic video stream having a depth or disparity map
US8884951B2 (en) Depth estimation data generating apparatus, depth estimation data generating method, and depth estimation data generating program, and pseudo three-dimensional image generating apparatus, pseudo three-dimensional image generating method, and pseudo three-dimensional image generating program
US8976171B2 (en) Depth estimation data generating apparatus, depth estimation data generating method, and depth estimation data generating program, and pseudo three-dimensional image generating apparatus, pseudo three-dimensional image generating method, and pseudo three-dimensional image generating program
JP2012085284A5 (ru)
RU2013142927A (ru) Обработка данных глубины трехмерной сцены
JP2013172214A5 (ru)
CN102611901B (zh) 深度推断数据生成装置、深度推断数据生成方法以及仿真立体图像显示装置
US9143755B2 (en) Image processing device

Legal Events

Date Code Title Description
FA92 Acknowledgement of application withdrawn (lack of supplementary materials submitted)

Effective date: 20170110